phixtral-4x2_8

מה זה

הפרויקט הזה לוקח ארבע גרסאות שונות שעברו כוונון עדין של phi-2, ומחבר אותן באמצעות mergekit למבנה של תערובת מומחים. הרעיון נשען על השיטה של מיקסטרל, כאשר המודל מפעיל שני מומחים מתוך הארבעה עבור כל טוקן. הבסיס כולל גרסאות כמו dolphin וגרסת קוד, כך שהשילוב מכסה כמה כיוונים במקביל.

במבחני הביצועים של Nous, המודל מגיע לממוצע של 47.7 נקודות. הנתון הזה מציב אותו מעל כל אחד מארבעת המומחים הבודדים שנכנסו להרכבה, כולל מודל המקור של מיקרוסופט שעומד על 44.61. השיפור הבולט ביותר נרשם במבחן AGIEval, שם הוא מגיע ל־33.91 לעומת פחות מ־28 במקור.

מתאים ל

• שרת מקומי דל משאבים

  מאפשר הרצה של ארכיטקטורת מומחים מלאה על חומרה צנועה כמו מאיץ T4 באמצעות כימות מתאים.

• שאלות ותשובות באנגלית

  מציג ציונים עדיפים על מודל הבסיס במבחני ידע וחשיבה כמו AGIEval ו־TruthfulQA.

• משימות טקסט נקודתיות

  עובד היטב על פניות קצרות ועיבוד קטעים ממוקדים שלא חורגים ממגבלת 2,048 הטוקנים.

איפה זה נופל

החיסרון המרכזי והברור הוא חלון הקשר של 2,048 טוקנים בלבד. אי אפשר להזין כאן מסמכים ארוכים, היסטוריית שיחה עשירה או קטעי קוד נרחבים. בנוסף, המודל אומן ותועד באנגלית בלבד, כך שאין כאן תמיכה בעברית. חיסרון טכני נוסף נובע מזה שמדובר במיזוג נסיוני עם קוד ייעודי, מה שעלול לייצר בעיות יציבות באינטגרציה רגילה.

איך מריצים

כדי להריץ אותו בקבצי ה־float16 המקוריים צריך זיכרון שיחזיק 14.6 ג'יגה־בייט של משקלים, לפני שמחשבים את זיכרון ההקשר. המפתח מציע מחברת קולאב שמריצה אותו בכימות של 4 ביט על גבי כרטיס T4 חינמי, ויש גם גרסת GPTQ ייעודית של TheBloke למי שרוצה לצמצם משאבים.

אם אתם לא רוצים להתעסק עם קוד הסקת מסקנות מותאם אישית שנכתב במיוחד למיזוג הזה, שירותי ענן עם מודלים פתוחים סטנדרטיים יחסכו זמן. המודל דורש טעינה של קבצי פייתון מקומיים מתוך המאגר כדי לנהל את ניתוב המומחים.

from transformers import pipeline

pipe = pipeline("text-generation", model="mlabonne/phixtral-4x2_8")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 14.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors10.0 GB
• model-00002-of-00002.safetensors5.7 GB
• tokenizer.json2.1 MB
• vocab.json798.2 KB
• merges.txt456.3 KB
• model.safetensors.index.json55.1 KB
• modeling_phi.py34.4 KB
• tokenizer_config.json8.0 KB
• README.md5.0 KB
• configuration_phi.py2.2 KB
• .gitattributes1.5 KB
• added_tokens.json1.1 KB
• config.json816 B
• special_tokens_map.json470 B
• mergekit_moe_config.yml376 B

הרישיון

הרישיון הוא MIT, מה שאומר שמותר לעשות איתו כמעט הכל, כולל שימוש מסחרי, שינוי הקוד והפצה פנימית או מסחרית בתוך מוצר. התנאי היחיד הוא שמירה על הצהרת זכויות היוצרים המקורית של הפרויקט.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗