phixtral-2x2_8

מה זה

הפרויקט הזה לוקח שני כיוונונים שונים של המודל הקטן של מיקרוסופט, אחד מבוסס Dolphin והשני עבר DPO, ומחבר אותם למבנה של תערובת מומחים בעזרת Mergekit. הרעיון הוא לקבל איכות גבוהה יותר בלי לשלם את המחיר החישובי של מודל ענק רגיל.

במבחני הביצועים של Nous, השילוב הזה עוקף את המודלים הבודדים שהרכיבו אותו עם ממוצע של 47.78 לעומת 44.61 במודל הבסיס המקורי. השיפור מורגש במיוחד במבחן AGIEval, שם הוא קופץ מציון 27.98 לציון 34.1, מה שמראה הבנה טובה יותר של משימות מורכבות יותר באנגלית.

מתאים ל

• הסקה מקומית על כרטיס פשוט

  רץ בקוונטיזציה על כרטיס T4 בודד ומתאים למכונות קצה ללא שרתי ענן יקרים.

• משימות טקסט קצרות באנגלית

  מציג ציונים עדיפים על מודלי Phi רגילים בטקסטים שלא עוברים 2,000 טוקנים.

• ניסויי ארכיטקטורת מומחים

  בסיס טוב לבדיקת שילוב מודלים מקומי לפני מעבר למודלי ענק מורכבים.

איפה זה נופל

חלון ההקשר עומד על 2,048 טוקנים בלבד. למי שבונה על שליפת מסמכים ארוכים או שיחות מורכבות, המגבלה הזו תורגש מיד. הוא אומן רק על אנגלית, כך שאין מה לבנות עליו לעבודה בעברית ללא כוונון נוסף. בנוסף, מדובר בניסוי של מיזוג מודלים עם קוד מותאם אישית, ולא במוצר מהודק שעבר בדיקות בטיחות מקיפות.

איך מריצים

המודל שוקל 8.3 גיגה בייט בפורמט הרגיל שלו, ומריצים אותו ישירות דרך ספריית Transformers עם קוד הסקה מותאם לקבצים שנמצאים במאגר. אפשר להריץ אותו בקוונטיזציה של 4 ביט על כרטיס בסיסי כמו T4 בלי לשלם על שרתים יקרים.

אם אתם צריכים רק בדיקה מהירה, יש לו ספייס פתוח בהאגינג פייס. לשימוש מקומי שוטף הוא מתאים לכרטיס מסך בודד עם 12 או 16 גיגה זיכרון, ואין סיבה אמיתית לפנות לשרותי ענן חיצוניים בגודל כזה.

from transformers import pipeline

pipe = pipeline("text-generation", model="mlabonne/phixtral-2x2_8")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 8.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00001.safetensors8.9 GB
• tokenizer.json2.1 MB
• vocab.json798.2 KB
• merges.txt456.3 KB
• model.safetensors.index.json35.7 KB
• modeling_phi.py34.4 KB
• tokenizer_config.json8.0 KB
• README.md4.3 KB
• configuration_phi.py2.2 KB
• .gitattributes1.5 KB
• added_tokens.json1.1 KB
• config.json816 B
• special_tokens_map.json470 B
• mergekit_moe_config.yml232 B

הרישיון

הפרויקט מפורסם תחת רישיון MIT. המשמעות פשוטה: מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להריץ אותו במוצרים שלכם ולסגור את הקוד, כל עוד משאירים את הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗