Llama-3.1-Minitron-4B-Width-Base

מה זה

מדובר במודל בסיס שנוצר על ידי חיתוך שכבות ה־MLP וגודל ההטמעה של Llama 3.1 8B המקורי, ולאחר מכן אומן מחדש בעזרת זיקוק על 94 מיליארד טוקנים. הרעיון כאן הוא לקבל את היכולות של מודל גדול יותר בגודל של 4.5 מיליארד פרמטרים, מבלי לאמן מודל חדש לגמרי מאפס.

במבחני הביצועים הוא מציג ציון של 60.5 ב־MMLU וציון של 41.2 ב־GSM8K. המספרים האלה מראים שמדובר במודל בסיס סביר לגודלו בידע כללי ובהיגיון בסיסי, אבל היכולות שלו במתמטיקה מורכבת או בכתיבת קוד, שם קיבל ציון 32 ב־MBPP, נמוכות מאוד. ללא כוונון נוסף, הוא לא יספק פתרונות תכנות או לוגיקה ברמה גבוהה.

מתאים ל

• בסיס לכוונון ייעודי

  נקודת מוצא זולה לאימון מודל מותאם אישית למשימה מוגדרת באנגלית, בזכות גודל קומפקטי וזיקוק מ־8B.

• השלמת טקסט מקומית

  מערכות שצריכות השלמת משפטים או ניסוח פסקאות על גבי שרת ארגוני פנימי ללא גישה לרשת.

• סיווג וניתוח טקסטים

  עיבוד מסמכים קצרים והפקת ייצוגים באנגלית, כשיש מגבלת תקציב וכרטיסי מסך תואמים של אנבידיה.

איפה זה נופל

זהו מודל בסיס בלבד, כלומר הוא לא עבר התאמה לשיחה ולא הונחה לעקוב אחרי הוראות. אם תתנו לו פקודה, סביר שהוא ימשיך את הטקסט במקום לענות. נתוני האימון שלו נחתכו ביוני 2023, והוא נבדק בצורה מיטבית עם קלטים של עד 8,000 תווים בלבד, למרות חלון ההקשר הגדול של הארכיטקטורה. בנוסף, הכרטיס מציין במפורש שהוא עלול לפלוט טקסט פוגעני, מידע שגוי או הטיות שנאספו מהאינטרנט. ללא כוונון והוספת מעטפת סינון, מסוכן להציג את הפלטים שלו למשתמשי קצה.

איך מריצים

כדי להריץ אותו ב־bfloat16 דרוש כרטיס מסך עם לפחות 16 עד 24 גיגה זיכרון גרפי, כמו כרטיסים מארכיטקטורת Ampere, Lovelace, Hopper או Blackwell של אנבידיה. הקבצים עצמם שוקלים 16.8 גיגה, כך שכרטיס של 16 גיגה ייחנק ללא קוונטיזציה, במיוחד אם מנצלים את ההקשר הארוך. אנבידיה בדקה אותו על A100 עם מנוע TensorRT-LLM או NeMo, והוא עובד היטב גם עם ספריית transformers בהתקנה מהמקור.

אם אין לכם כרטיס תואם עם מספיק זיכרון בשרת מקומי, פשוט עדיף להשתמש ב־API חיצוני של מודלים גדולים יותר. הרצה עצמית של מודל בסיס כזה משתלמת בעיקר אם יש לכם כבר תשתית של אנבידיה וצורך מובהק בפרטיות נתונים או בעיבוד מקומי.

from transformers import pipeline

pipe = pipeline("text-generation", model="nvidia/Llama-3.1-Minitron-4B-Width-Base")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 16.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• nemo/llama-3.1-minitron-4b-width-base.nemo9.0 GB
• model-00001-of-00002.safetensors5.0 GB
• model-00002-of-00002.safetensors4.0 GB
• tokenizer.json9.1 MB
• tokenizer_config.json50.5 KB
• model.safetensors.index.json23.9 KB
• README.md5.8 KB
• .gitattributes1.6 KB
• config.json906 B
• NOTICE571 B
• special_tokens_map.json301 B
• generation_config.json126 B

הרישיון

המודל שוחרר תחת NVIDIA Open Model License Agreement, רישיון ייעודי שמאפשר שימוש מסחרי. מותר לשלב אותו במוצרים ובשירותים, אך כפוף לתנאי השימוש והמגבלות של אנבידיה המפורטים בהסכם שלהם.

הרישיון המלא בעמוד המודל ↗