bigstral-12b-32k

מה זה

מי שיצר את הדבר הזה לקח את Mistral-7B-Instruct-v0.2, שכפל וחפף שכבות באמצעות mergekit בשיטת passthrough, והגיע ל־56 שכבות. המטרה היתה ברורה: לקבל מודל מורחב שמתנהג כמו המקור, אבל מחזיק חלון הקשר של 32,768 טוקנים במקום להיתקע ב־4,000 כמו שקורה בסולאר.

התוצאה בשטח בעייתית מאוד לפי מבחני הביצועים הרשמיים. הממוצע הכללי שלו עומד על 18.05 נקודות בלבד, עם ציון מחריד של 0.98 במתמטיקה ברמה 5 ו־5.7 בלבד ב־GPQA. הוא שומר על יכולת סבירה במעקב אחרי הוראות בסיסיות עם 41.94 ב־IFEval, אבל המיזוג הגס הזה פגע בצורה קשה ביכולות החשיבה העמוקות.

מתאים ל

• ניתוח טקסטים ארוכים

  חלון של 32 אלף טוקנים מאפשר להזין מסמכים שלמים ולחלץ מידע בסיסי באנגלית.

• השוואת קטעי קוד פשוטים

  הוא מזהה הבדלים בין שפות תכנות ומסביר אותם בצורה קריאה.

• בדיקות מיזוגים מקומיות

  בסיס טוב למפתחים שרוצים לחקור איך התנהגות שכבות משתנה אחרי שימוש ב־mergekit.

איפה זה נופל

המודל הזה סובל מנזק מוחי אמיתי בגלל אופן ההרכבה שלו. חיבור שכבות כפולות בלי אימון מחדש יצר מודל שמתקשה במשימות היגיון, פתרון בעיות ומתמטיקה, כפי שמעיד ציון של 18.24 ב־MMLU-PRO. בנוסף, אין בכרטיס שום מידע על תמיכה בשפות שאינן אנגלית, ובטח שלא על עברית. לא הייתי בונה עליו שום תהליך שדורש דיוק עובדתי.

איך מריצים

המשקלים שוקלים 23.2 גיגה בפורמט float16, מה שאומר שכרטיס של 24 גיגה בייט ייחנק ברגע שתנצלו את ההקשר המלא. כדי להריץ אותו מקומית עם כל ה־32 אלף טוקנים תצטרכו כרטיס חזק יותר או קוונטיזציה דרך Ollama עם הפקודה שהמפתח ציין. מי שלא מחזיק חומרה מתאימה יכול לחפש אותו דרך שירותי ענן שמאפשרים הרמת שרת ייעודי לפי שעה.

אם אתם לא חייבים פרטיות מוחלטת של המידע, עדיף להשתמש ב־API של מודלים מאומנים במקום להחזיק שרת כבד בשביל מודל ממוזג עם ביצועים נמוכים כאלה.

from transformers import pipeline

pipe = pipeline("text-generation", model="abacusai/bigstral-12b-32k")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 23.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00003.safetensors10.0 GB
• model-00001-of-00003.safetensors9.9 GB
• model-00003-of-00003.safetensors5.1 GB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• model.safetensors.index.json39.7 KB
• README.md6.7 KB
• .gitattributes1.5 KB
• tokenizer_config.json1.5 KB
• config.json643 B
• mergekit_config.yml626 B
• special_tokens_map.json414 B

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים סגורים. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗