Mistral-22B-v0.2

מה זה

ניקולס מחיה-פטי מציג כאן ניסוי מעניין של זיקוק ידע מרשת מומחים לתוך מודל יחיד וצפוף בגודל 22B פרמטרים, במקום להחזיק ארכיטקטורת תערובת מומחים כבדה. המטרה היא לקבל את הידע של מודל גדול בהרבה בתוך מבנה פשוט וישיר יותר.

היוצר מדווח שהגרסה הזו אומנה על כמות נתונים גדולה פי שמונה מהגרסה הראשונה, בעיקר שיחות מרובות שלבים, קוד ומשימות סוכנים כמו ניווט בעמודי רשת לפי קוד מבנה. אין כאן מבחני ביצועים מסודרים או מדדים השוואתיים רשמיים, אלא בדיקות אישיות קטנות שהראו שהוא מצליח לייצר דף אינטרנט בסיסי שמשנה צבע רקע, משימה שהגרסה הקודמת נכשלה בה.

מתאים ל

• מחקר על דחיסת מודלים

  בדיקת ההשפעה של מיזוג מודל מומחים למבנה רגיל.

• ניסויי סוכנים בקוד פתוח

  אימון על משימות ניווט ושימוש בכלים בפורמט נתונים מובנה.

• עבודה ללא מנגנוני סינון

  מחקר או יצירה שדורשים מודל שלא חוסם בקשות באופן אוטומטי.

איפה זה נופל

זהו מודל ניסיוני לחלוטין שנמצא בעיצומו של תהליך עבודה, והיוצר עצמו כבר עבר לאמן את הגרסאות הבאות. אין שום מבחני בנצ'מרק סטנדרטיים שמאמתים את יכולות המתמטיקה או הקוד שלו מעבר לבדיקות בודדות. בנוסף, המודל עבר הסרת צנזורה ולכן מייצר כל תוכן ללא הגבלה או הגנות בטיחות, ואי אפשר לשלב אותו במוצר בלי לבנות מנגנון סינון קפדני משלכם.

אותה משפחה

Mistral יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־41.4 גיגה-בייט בדיוק bfloat16. כדי להריץ אותו בלי כימות תצטרכו כרטיס מקצועי עם 48 גיגה זיכרון גרפי לפחות, או שני כרטיסי 24 גיגה, וזה עוד לפני שלוקחים בחשבון את הזיכרון הנדרש להקשר ארוך.

אם אין לכם חומרה כזו ייעודית, או אם אתם לא מחפשים לבצע מחקר ספציפי על דחיסת מודלים, זול ופשוט יותר להשתמש ב־API של מודל מסחרי מוכן. מי שכן מריץ מקומית חייב להשתמש במבנה התבנית של Guanaco, אחרת איכות התשובות נפגעת משמעותית.

from transformers import pipeline

pipe = pipeline("text-generation", model="Vezora/Mistral-22B-v0.2")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 41.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00005-of-00009.safetensors5.0 GB
• model-00008-of-00009.safetensors5.0 GB
• model-00002-of-00009.safetensors5.0 GB
• model-00009-of-00009.safetensors5.0 GB
• model-00003-of-00009.safetensors5.0 GB
• model-00006-of-00009.safetensors5.0 GB
• model-00004-of-00009.safetensors4.9 GB
• model-00007-of-00009.safetensors4.9 GB
• model-00001-of-00009.safetensors4.9 GB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• model.safetensors.index.json41.8 KB
• README.md5.6 KB
• .gitattributes1.5 KB
• tokenizer_config.json967 B
• config.json599 B
• special_tokens_map.json414 B
• generation_config.json111 B

הרישיון

הרישיון הוא Apache 2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקוד והפצה חופשית, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי. אפשר לשלב אותו בפרויקטים פנימיים או מסחריים בלי לשלם תמלוגים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗