Llama-3.1-Storm-8B

מה זה

הבסיס כאן הוא המודל הפתוח של מטא באותו הגודל, אבל הצוות שמאחוריו בחר נתיב אימון שונה. הם סיננו מתוך כמעט שלושה מיליון דוגמאות פתוחות רק מיליון דוגמאות איכותיות, הקפיאו מחצית משכבות הרשת בשיטת Spectrum כדי לכוונן רק אזורים מסוימים, ובסוף מיזגו את התוצאה בשיטת SLERP עם המודל Llama-Spark.

במבחנים התוצאה עוקפת את מודל המקור כמעט בכל תחום. השיפור הבולט ביותר הוא בקריאות לפונקציות, עם קפיצה של קרוב לשמונה אחוזים בדיוק הכולל במבחן BFCL ומעל שתים עשרה אחוזים בהבנת תחביר קריאות. יש גם עמידות טובה יותר להזיות עם שיפור של תשעה אחוזים בבדיקת TruthfulQA, ועלייה בפתרון שאלות מורכבות במבחן GPQA. הוא גובר על מתחרים ישירים כמו Hermes-3 ברוב המדדים, אם כי במבחן ההיגיון MuSR המודל של הרמס עדיין מוביל.

מתאים ל

• סוכנים מבוססי כלים

  מתאים להרצת פונקציות מקומית תודות לשיפור משמעותי במבחן BFCL.

• עוזר שיחה למחשב מקומי

  רץ ישירות דרך Ollama ומציג ציות גבוה להוראות במשאבים צנועים.

• שאלות ותשובות מבוססות ידע

  מציג פחות הזיות ומדייק יותר בתשובות עובדתיות ממודל הבסיס של מטא.

איפה זה נופל

היוצרים מצהירים בגלוי שהמודל לא עבר תהליך יישור בטיחות ייעודי משל עצמו. הוא נשען רק על מה שירש ממודל המקור, כך שאין ערובה שהוא יסרב לתכנים בעייתיים או יתנהג בצורה מרוסנת בלי שכבת הגנה חיצונית. בנוסף, אף שהחלון הטכני תומך בטקסטים ארוכים מאוד, זיכרון הכרטיס ייחנק מהר בהקשרים מלאים. עברית אינה מופיעה ברשימת השפות הנתמכות, שכוללת רק שפות אירופיות, הינדי ותאילנדית, לכן פלט בעברית צפוי להיות רעוע ולא מומלץ להסתמך עליו.

אותה משפחה

Llama-3.1-Storm יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ את גרסת הדיוק המקורית בפורמט bfloat16 דרוש כרטיס גרפי עם עשרים וארבעה גיגה זיכרון, כמו RTX 3090 או A10G, שמחזיק את חמישה עשר הגיגה של המשקולות לצד זיכרון עבודה לטוקנים. מי שמשתמש במערכות כמו vLLM יכול להרים אותו על כרטיס בודד ולשלוח בקשות דרך פייתון, וקיימת גם גרסת FP8 דינמית שמקלה על עומס הזיכרון.

למי שעובד על מחשב אישי או מעבד בלבד יש מימושי GGUF ותמיכה ישירה בתוכנת Ollama באמצעות פקודת ריצה פשוטה. אם אין לכם חומרה ייעודית זמינה וקצב הקריאות שלכם נמוך, פנייה לשרתי צד שלישי שמארחים מודלי שמונה מיליארד תהיה זולה ופשוטה בהרבה מתחזוקת שרת עצמאי.

from transformers import pipeline

pipe = pipeline("text-generation", model="akjindal53244/Llama-3.1-Storm-8B")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json9.1 MB
• tokenizer_config.json51.0 KB
• model.safetensors.index.json22.8 KB
• README.md19.0 KB
• LICENSE7.6 KB
• .gitattributes1.5 KB
• config.json910 B
• special_tokens_map.json296 B
• generation_config.json185 B

הרישיון

השימוש כפוף לרישיון llama3.1 של מטא. מותר להשתמש בו ליישומים מסחריים ומחקר חופשי, כל עוד אין לכם יותר משבע מאות מיליון משתמשים פעילים בחודש. אם אתם חוצים את הרף הזה, נדרש אישור פרטני ממטא.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗