Mellum2-12B-A2.5B-Instruct

מה זה

ג'טבריינס בנו מודל מבוסס תערובת מומחים עם שישים וארבעה מומחים בסך הכול, כאשר שמונה מתוכם פעילים בכל רגע נתון. המבנה הזה מאפשר לקבל קיבולת של מודל שנים עשר מיליארד פרמטרים, אבל לשמור על זמני תגובה ועלויות חישוב של מודל קטן בהרבה. הוא מגיע עם חלון הקשר של מאה שלושים ואחד אלף טוקנים שמשלב חלונות תשומת לב גולשים, ועבר אימון עם תגמולים על משימות תכנות מעשיות, מתמטיקה והפעלת כלים.

במבחני ביצועים, התמונה מורכבת. בכתיבת קוד לפי EvalPlus הוא מגיע לציון של 78.4 ועוקף דגמים כמו קוון 3.5 בגדלי 4B ו־9B. מנגד, במבחני קידוד חיים כמו LiveCodeBench הוא נעצר על 37.2 אחוז, הרחק מאחורי המתחרים הסיניים. זה אומר שהוא מצטיין במשימות תכנות שגרתיות ומוגדרות היטב, אך מבריק פחות כשהאתגר דורש אלגוריתמיקה מורכבת.

מתאים ל

• השלמת קוד מקומית

  זמן תגובה קצר בזכות הפעלת חלק קטן מהפרמטרים בכל טוקן, בלי עיכובים של חשיבה ממושכת.

• סוכן להפעלת פונקציות

  תמיכה מובנית בחיבור כלים עם ביצועים טובים במבחני BFCL ואינטגרציה פשוטה לשרתי הסקה.

• ניתוח בסיסי של ריפוזיטורי

  חלון הקשר גדול שמאפשר להזין מספר רב של קובצי פרויקט בו זמנית כדי לקבל מענה ממוקד.

איפה זה נופל

הוא לא מיועד לפתרון בעיות סבוכות שמצריכות חשיבה ארוכה, ולמשימות כאלה ג'טבריינס עצמם מכוונים לגרסת ה־Thinking. במבחני ידע כללי ומדע כמו GPQA הוא מקבל 40.9 אחוז בלבד, חצי ממה שמציגים מודלים מקבילים, ובמבחן הבלופים BS-Bench הוא קרס ל־18 אחוז. בנוסף, המודל אומן ותועד רק באנגלית, כך שלא כדאי לבנות עליו לפרויקטים שדורשים עברית.

אותה משפחה

Mellum2-12B-A2.5B יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים מגיע לכמעט עשרים ושלושה גיגה־בייט, כך שתצטרכו כרטיס מסך עם לפחות 24 גיגה זיכרון כדי להעלות אותו בפורמט bfloat16 מקורי. מריצים אותו ישירות דרך vLLM עם פרמטרים מובנים לזיהוי קריאות לפונקציות, באמצעות תאימות לפארסר של הרמס.

אם חלון ההקשר מנוצל עד הסוף, צריכת הזיכרון לטבלאות הקשר תדרוש כרטיס חזק בהרבה או חלוקה בין כמה מעבדים גרפיים. אם אין לכם חומרה ייעודית שרצה ברציפות, עדיף לפנות למודל מרוחק, בעיקר אם אתם מתכננים לעבד מסמכים ארוכים במיוחד.

from transformers import pipeline

pipe = pipeline("text-generation", model="JetBrains/Mellum2-12B-A2.5B-Instruct")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 22.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00005.safetensors5.0 GB
• model-00003-of-00005.safetensors5.0 GB
• model-00004-of-00005.safetensors5.0 GB
• model-00002-of-00005.safetensors5.0 GB
• model-00005-of-00005.safetensors4.3 GB
• tokenizer.json7.1 MB
• model.safetensors.index.json526.5 KB
• README.md10.5 KB
• tokenizer_config.json7.0 KB
• mellum-logo-dark.svg5.2 KB
• chat_template.jinja3.5 KB
• config.json2.3 KB
• .gitattributes1.5 KB
• special_tokens_map.json1.2 KB
• .eval_results/mellum2.yaml1.1 KB
• generation_config.json112 B

הרישיון

הפצה תחת רישיון אפאצ'י 2.0 המוכר. אפשר להשתמש בו חופשי לפיתוח מוצרים מסחריים, להטמיע אותו בתוך שירותים סגורים או לשנות את הקוד והמשקלים. התנאי היחיד הוא שמירה על זכויות היוצרים וההצהרה המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗