Meta-Llama-3-120B-Instruct

מה זה

היוצר לקח את Llama 3 70B Instruct ושכפל ממנו שכבות שונות באמצעות MergeKit בשיטת passthrough. התוצאה היא מפלצת עם 140 שכבות שמכוונת בעיקר לסגנון כתיבה עשיר ולא שגרתי, בהשראת מיזוגים קודמים כמו Goliath 120b.

המודל משתמש בתבנית השיחה הרגילה של לאמה 3 עם חלון של 8,192 טוקנים, אבל ההתנהגות שלו שונה מאוד. היוצר מעיד שהפלט נוטה להיות פרוע מאוד, עם חיבה מוגזמת לאותיות גדולות ושגיאות כתיב מדי פעם, מה שאומר שקיבלתם משהו אקספרסיבי על חשבון הדיוק המבני של מודל הבסיס.

מתאים ל

• כתיבת סיפורת ופרוזה

  המיזוג מייצר סגנון כתיבה חי ולא שגרתי שטוב בהרבה ממודלים סטנדרטיים ומאופקים.

• משחקי תפקידים

  האופי הפרוע שלו עוזר לייצר דמויות פחות צפויות בלי טון תאגידי יבש.

• ניסויי מיזוג מודלים

  דוגמה טובה לבדיקת השפעת שכפול שכבות על ביצועי שפה מחוץ למשימות הגיון.

איפה זה נופל

המודל מתקשה במשימות שאינן כתיבה יצירתית. הוא לא מתקרב לרמה של מודלי דגל בהסקה לוגית או בקוד, ולפי היוצר הוא נוטה להזיות, שגיאות הקלדה ושימוש מוגזם באותיות רישיות. לא הייתי בונה עליו לחילוץ מידע, לתמיכה טכנית או לכל תהליך שדורש עקביות ואמינות.

איך מריצים

כדי להריץ 122 מיליארד פרמטרים בדיוק של float16 תצטרכו לפחות שלושה או ארבעה כרטיסי מסך ברמת שרת, כמו A100 עם 80GB, רק כדי לטעון אותו לזיכרון באמצעות transformers ו־accelerate.

לשימוש מקומי הגיוני יותר עדיף לפנות לגרסאות מכווצות שנוצרו על ידי הקהילה בפורמטים כמו GGUF, EXL2 או גרסאות ל־mlx. אם אין לכם חומרה כבדה מאוד, שווה לחפש ספק שמארח אותו לפני שאתם מנסים לפרוס בעצמכם.

from transformers import pipeline

pipe = pipeline("text-generation", model="mlabonne/Meta-Llama-3-120B-Instruct")
print(pipe("שלום"))

הקבצים

9 קבצים במאגר, 8.8 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• tokenizer.json9.1 MB
• model.safetensors.index.json99.5 KB
• tokenizer_config.json51.0 KB
• README.md4.4 KB
• .gitattributes1.5 KB
• config.json708 B
• mergekit_config.yml644 B
• special_tokens_map.json301 B
• generation_config.json186 B

הרישיון

הרישיון מוגדר כ־other ללא פירוט תנאים נוסף בכרטיס המודל. היות שמדובר במיזוג של לאמה 3, יש לבדוק את תנאי הרישיון המקוריים של מטא לפני כל מחשבה על שימוש מסחרי או שילוב במוצר.

הרישיון המלא בעמוד המודל ↗