Meta-Llama-3-8B

מה זה

מדובר במודל שפה גולמי, כזה שמשלים טקסט ולא עונה כמו צ׳אטבוט מיושר. מטה אימנה אותו על יותר מ־15 טריליון טוקנים ממקורות ציבוריים, וזה ניכר מיד בתוצאות. הוא מגיע עם חלון הקשר של 8,192 טוקנים ותמיכה בארכיטקטורת Grouped-Query Attention שמייעלת את מהירות ההסקה.

במבחני ידע והבנה כמו MMLU הוא מוציא 66.6, וב־ARC Challenge מגיע ל־78.6. המספרים האלה אומרים שבפועל מודל ה־8B הזה עוקף בבירור את Llama 2 בגודל 13B ואפילו מתקרב לחלק מהתוצאות של Llama 2 70B הוותיק. ההבדל המרכזי בינו לבין מה שהכרנו בגדלים האלה הוא איכות הידע הכללי הדחוס, שנובעת מהיקף הדאטה העצום שספג.

מתאים ל

• אימון ייעודי למשימות ספציפיות

  בסיס מעולה לפיין טיונינג של סיווג, מיצוי מידע או כתיבת קוד באנגלית.

• התאמה לשפות אחרות

  ארכיטקטורה חזקה מספיק כדי לשמש תשתית לאימון המשך בעברית או שפות נוספות.

• השלמת טקסט אוטומטית

  התנהגות טבעית כמודל השלמה רציף בלי המגבלות של ממשק שיחה.

איפה זה נופל

זהו מודל בסיס ולא גרסת Instruct. הוא לא יבין הוראות ישירות וינטה להמשיך משפטים במקום לענות עליהם, אלא אם תאמנו אותו. מעבר לזה, הכרטיס מצהיר רשמית שהאימון נערך באנגלית בלבד ושפות אחרות מוגדרות מחוץ לטווח השימוש התקני, כך שבעברית הוא לא צפוי לתת מענה סביר בלי פיין טיונינג רציני. בנוסף, תאריך העדכון של המידע נחתך במרץ 2023, והוא מייצר טקסט וקוד בלבד ללא שום יכולת מולטימודלית.

אותה משפחה

Meta-Llama-3 יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

הקבצים שוקלים כמעט 30 גיגה בפורמט bfloat16, כך שתצטרכו כרטיס מסך עם לפחות 24 גיגה זיכרון כדי להעלות אותו בלי קוונטיזציה. ב־transformers של פייתון טוענים את הצינור ישירות עם זיהוי חומרה אוטומטי, או שמורידים את המשקלים המקוריים עם huggingface-cli ומריצים דרך הקוד שמטה פרסמה.

מי שאין לו שרת מקומי עם כרטיס תואם, או מי שבונה פיצ׳ר מהיר ולא צריך שליטה מלאה במשקלים, יעדיף לצרוך אותו דרך ספקי ענן במקום להסתבך עם תחזוקת תשתית יקרה.

from transformers import pipeline

pipe = pipeline("text-generation", model="meta-llama/Meta-Llama-3-8B")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 29.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• original/consolidated.00.pth16.1 GB
• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json9.1 MB
• original/tokenizer.model2.2 MB
• tokenizer_config.json50.6 KB
• README.md36.6 KB
• model.safetensors.index.json23.9 KB
• LICENSE7.8 KB
• USE_POLICY.md4.7 KB
• .gitattributes1.5 KB
• config.json654 B
• original/params.json211 B
• generation_config.json177 B
• special_tokens_map.json73 B

הרישיון

הרישיון הוא llama3 המותאם של מטה. הוא מתיר שימוש מסחרי ומחקרי באנגלית, בכפוף למדיניות השימוש המקובל שלהם. אם אתם מתכננים להפיץ מוצר מסחרי, מותר להשתמש בו ואף לכוונן אותו לשפות נוספות, כל עוד עומדים בתנאי הרישיון המקורי.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗