Mistral-22B-v0.1

מה זה

ניקולס מחברת וזורה לקח את מודל המומחים Mixtral-8x-22b יום אחרי שיצא, ודחס את כל שמונת המומחים לרשת צפופה רגילה של 22 מיליארד פרמטרים. במקום לנתב טוקנים בין מסלולים שונים, הוא זיקק ידע מכל המומחים לתוך מודל יחיד עם 56 שכבות. לפי היוצר, מדובר בהמרה הראשונה שעובדת מתצורת תערובת מומחים למודל צפוף.

המודל אומן באמצעות אנבלות' כדי לחסוך זיכרון ולהאיץ את התהליך, אבל האימון הנוכחי מינימלי ונמשך פחות משעה. הוא נשען על 500 שאלות ותשובות אנושיות ועוד 500 דוגמאות פייתון בדוקות בלבד. היוצר מציין יכולת מתמטית טובה למרות שלא עבר אימון ייעודי לתחום, אך מבהיר שרמת הביצועים הכללית מזכירה כרגע את לאמה 1 ולא מעבר לזה.

מתאים ל

• מחקר דחיסת מודלים

  בדיקת ההשפעה של זיקוק שמונה מומחים לרשת צפופה אחת והבנת מגבלות השיטה בפועל.

• ניסויי פתרון תרגילים

  בחינת יכולות מתמטיקה נקודתיות שהפגינה הרשת למרות שלא אומנה לכך במפורש.

• אימון המשך עצמאי

  בסיס התחלתי להתאמה נוספת עם מערכי נתונים פרטיים בספריית טרנספורמרס.

איפה זה נופל

היוצר כותב במפורש שלא כדאי לצפות לתוצאות מרשימות ומגדיר את זה כניסוי ראשוני בלבד. האימון ארך פחות משעה על אלף דוגמאות בסך הכל. אין כאן תמיכה בשיחות מרובות שלבים, אין יכולת כתיבת קוד מורכבת, אין מצב פלט במבנה ג'ייסון, ואין יכולות סוכנים. בנוסף, דחיסה של שמונה מומחים למודל אחד עלולה לגרום לאובדן זיכרון וידע.

אותה משפחה

Mistral יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של 19 הקבצים הוא 41.4 ג'יגה בייט בדיוק bfloat16, כך שתצטרכו כרטיס מסך עם זיכרון וידאו גדול מספיק להחזיק מעל 40 ג'יגה בייט רק בשביל המשקלים, עוד לפני שמחשבים את חלון ההקשר. המודל נתמך ישירות בספריית טרנספורמרס תחת הארכיטקטורה הרגילה של מיסטרל.

אם אין לכם חומרה ייעודית כבדה מקומית, עדיף להמתין או לפנות למודלים מבוססים שמוגשים כשירות ענן. מדובר בגרסת בדיקה ראשונה ששוחררה בחופזה בגלל ניסיונות שכפול ברשת, והיא דורשת משאבים של מודל מלא בלי להציע עדיין יציבות שמתאימה לסביבת עבודה שוטפת.

from transformers import pipeline

pipe = pipeline("text-generation", model="Vezora/Mistral-22B-v0.1")
print(pipe("שלום"))

הקבצים

19 קבצים במאגר, 41.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00005-of-00009.safetensors5.0 GB
• model-00008-of-00009.safetensors5.0 GB
• model-00002-of-00009.safetensors5.0 GB
• model-00009-of-00009.safetensors5.0 GB
• model-00003-of-00009.safetensors5.0 GB
• model-00006-of-00009.safetensors5.0 GB
• model-00004-of-00009.safetensors4.9 GB
• model-00007-of-00009.safetensors4.9 GB
• model-00001-of-00009.safetensors4.9 GB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• unsloth.png70.4 KB
• model.safetensors.index.json41.8 KB
• README.md3.4 KB
• tokenizer_config.json1.8 KB
• .gitattributes1.5 KB
• config.json662 B
• special_tokens_map.json414 B
• generation_config.json111 B

הרישיון

הפרויקט מופץ תחת רישיון אפאצ'י 2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של המשקלים, הפצה והרצה פנימית בלי תשלום תמלוגים. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗