GPT
הוספת כלי
A

AlphaMonarch-7B

קוד פתוח

mlabonnecc-by-nc-4.02024-02-14

  • transformers
  • safetensors
  • mistral
  • text-generation
  • merge

שילוב של כמה מודלים מובילים שעבר כוונון DPO כדי לספק שיחה שוטפת ויכולת היגיון גבוהה בגודל קומפקטי. הוא מתאים למי שרוצה ביצועים מעולים מקומית בלי לתחזק שרת ענק.

  • 7.2Bפרמטרים
  • 32,768טוקנים בהקשר
  • 13.5 GBמשקל הקבצים
  • 8,464הורדות בחודש

מה זה

הבסיס כאן הוא מיזוג של מספר גרסאות קודמות ממשפחת Beagle באמצעות LazyMergekit, שעבר אימון DPO על בסיס נתוני העדפות של OpenHermes. המטרה של התהליך הייתה לשמור על כוח ההסקה של המודלים הממוזגים, ובמקביל לחזק את היכולת לנהל שיחה קולחת שלא מרגישה רובוטית.

במבחני ביצועים של Nous המודל מגיע לממוצע של 62.74 נקודות, כשבמדד TruthfulQA הוא עומד על 78.39 נקודות וב־GPT4All על 77.01. המספרים האלה מציבים אותו בראש הקטגוריה לגודל שלו, והוא אפילו עוקף מודלים של 70B במבחן השיחה הרגשית EQ-bench. הסגנון שלו נוטה להיות מעט רשמי ומלוטש כברירת מחדל, אבל אפשר לכוון אותו בקלות עם הנחיה מתאימה.

מתאים ל

  • עוזר שיחה אישי במחשב

    הוא מציג ציונים גבוהים ב־EQ-bench ויודע לנהל שיחה טבעית ומעמיקה באנגלית בחומרה ביתית.

  • משחקי תפקידים וכתיבה

    הוא תומך היטב ב־SillyTavern ומספק סגנון כתיבה עשיר ובוגר שמתאים לסיפורים אינטראקטיביים.

  • מענה לפי הנחיות מורכבות

    אימון ה־DPO וההצטיינות במבחני Nous מאפשרים לו להבין ולבצע משימות היגיון באנגלית בדיוק רב.

איפה זה נופל

למרות ההצהרה הטכנית על חלון של 32,768 טוקנים, היוצר מבהיר שהמודל משתמש בפועל ב־8k טוקנים. ניסיון לדחוף מסמכים ארוכים מעבר לזה יגרור כנראה ירידה חדה באיכות הפלט. מעבר לזה, המודל אומן באנגלית בלבד. עברית או שפות אחרות ייצרו תוצאות מקוטעות ולא אמינות, כך שהוא לא מתאים לעיבוד טקסט מקומי בישראל.

שאלות
נפוצות

האם המודל מתאים לפרויקטים בעברית?

לא. המודל הוגדר ואומן על דאטה באנגלית בלבד. אם תפנו אליו בעברית תקבלו כנראה הזיות, שגיאות דקדוקיות או סירוב לענות.

אפשר לשלב אותו באפליקציה מסחרית שמוכרת מנויים?

בשום אופן לא. רישיון cc-by-nc-4.0 אוסר על שימוש מסחרי. כדי להוציא מוצר לשוק תצטרכו לבחור מודל עם רישיון מסחרי מתאים כמו אפאצ'י 2.0 או MIT.

איך מריצים

במשקל מלא של 13.5 גיגה בייט בפורמט float16 תצטרכו כרטיס מסך מודרני עם לפחות 16 גיגה זיכרון כדי להריץ אותו ישירות דרך transformers. למרבה המזל יש לו המרות קוונטיזציה רבות כמו GGUF, AWQ, GPTQ ו־EXL2, שמאפשרות להריץ אותו בקלות ב־LM Studio או SillyTavern על חומרה ביתית צנועה בהרבה, אפילו עם 8 גיגה זיכרון.

היוצר ממליץ לעבוד עם תבנית השיחה של Mistral Instruct ולהגדיר את חלון ההקשר בפועל ל־8k טוקנים, למרות שהארכיטקטורה תומכת טכנית ביותר. אם אתם צריכים זמינות של מאה אחוז למשתמשי קצה רבים במקביל, כנראה שעדיף לשלם על שירות ענן או API מאשר להחזיק שרת ייעודי.

from transformers import pipeline

pipe = pipeline("text-generation", model="mlabonne/AlphaMonarch-7B")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 13.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא cc-by-nc-4.0. המשמעות ברורה וחד משמעית: מותר להשתמש במודל, לשנות אותו ולשתף אותו למטרות מחקר, לימוד ופרויקטים אישיים בלבד. שימוש מסחרי מכל סוג, כולל שילוב במוצר שנמכר ללקוחות או מתן שירות בתשלום, אסור לחלוטין לפי תנאי הרישיון.

  • שינוי הקוד
  • חובת ייחוס
  • שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗