NousResearch/Meta-Llama-3-8B-Instruct

מה זה

מטא אימנה את מודל השיחה הזה על יותר מ־15 טריליון טוקנים, והוא עבר כוונון ייעודי למילוי הוראות ואינטראקציה טבעית באמצעות למידה עם משוב אנושי. היכולות שלו ממוקדות ביצירת טקסט וקוד בלבד, ללא תמיכה במולטימדיה.

במבחני ביצועים כלליים כמו MMLU גרסת הבסיס שלו מגיעה לציון של 66.6, לעומת 45.7 בלבד בגרסת Llama 2 המקבילה, וגם ב־ARC Challenge הוא מזנק ל־78.6 לעומת 53.7. המשמעות המעשית היא פחות הזיות והבנה עמוקה בהרבה של הקשר ומשימות מורכבות, ברמה שעוקפת אפילו את גרסת 13B מהדור הקודם.

מתאים ל

• עוזרי שיחה באנגלית

  עבר כוונון ייעודי לדיאלוגים ומציג זינוק בביצועי מענה מול הדור הקודם.

• ייצור והשלמת קוד

  מייצר קוד באופן מובנה ומתאים לשילוב בסביבות עבודה מקומיות.

• מענה על שאלות מטקסט

  מגיע לתוצאה של 76.4 בבדיקות SQuAD עבור הבנת הנקרא באנגלית.

איפה זה נופל

הכרטיס מגדיר שימוש בשפות שאינן אנגלית במפורש כפעילות מחוץ לתחום היכולות של המודל. עבור משתמשים ישראלים זה אומר ששיחות בעברית יפיקו תוצאות פחות אמינות ללא כוונון נוסף. בנוסף, תאריך העדכון של הידע נעצר במרץ 2023, כך שהוא לא יודע דבר על אירועים מאוחרים יותר.

אותה משפחה

Meta-Llama-3 יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו ישירות דרך transformers בדיוק המקורי של bfloat16 תצטרכו כרטיס מסך עם לפחות 16GB זיכרון VRAM, שכן המשקלים עצמם שוקלים 15.0 GB. השימוש בארכיטקטורת Grouped-Query Attention עוזר לייעל את פעולת הזיכרון בעת יצירת התשובות.

אם אין לכם כרטיס ייעודי כמו RTX 3090 או 4090, עדיף להשתמש ב־API ענן מוכן או לכמת את המודל לפורמטים רזים יותר. בנוסף, חבילת הקבצים הזו דורשת הגדרת טוקני סיום שיחה מיוחדים בקוד כדי שהפלט לא יימרח מעבר לנדרש.

from transformers import pipeline

pipe = pipeline("text-generation", model="NousResearch/Meta-Llama-3-8B-Instruct")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json9.1 MB
• tokenizer_config.json51.0 KB
• README.md39.1 KB
• model.safetensors.index.json23.9 KB
• LICENSE7.8 KB
• USE_POLICY.md4.7 KB
• .gitattributes1.5 KB
• config.json654 B
• generation_config.json187 B
• special_tokens_map.json73 B

הרישיון

הרישיון הרשום בעמוד הוא other, ומפנה לרישיון הקהילתי של מטא עבור Llama 3. הוא מתיר שימוש מסחרי ומחקרי באנגלית, אך כפוף למדיניות שימוש מקובל ולמגבלות רישוי ייעודיות שחובה לקרוא לפני הפצה במוצר.

הרישיון המלא בעמוד המודל ↗