Meta-Llama-3-8B-Instruct

מה זה

מטא אימנה את הדגם על מעל 15 טריליון טוקנים, וזה מורגש ישירות ברמת הידע שהוא מציג לעומת הדור הקודם. גרסת ההוראות הזו עברה כוונון ייעודי לשיחה עם דגש על שימושיות ובטיחות. המבנה כולל מנגנון Grouped-Query Attention, שנועד להאיץ את שלב ההסקה ולצמצם את תפיסת הזיכרון בעבודה שוטפת.

במבחני ביצועים כלליים כמו MMLU הדגם מגיע לתוצאה של 66.6, לעומת 45.7 בגרסת שבעת המיליארדים של הדור הקודם ו־53.8 בגרסת ה־13 מיליארד הישנה. הוא מציג זינוק גם בהבנת הנקרא ופתרון בעיות, מה שהופך אותו לבחירה מעשית למשימות עיבוד שפה מקומיות שהצריכו בעבר מודלים כבדים בהרבה.

מתאים ל

• בוט שיחה באנגלית

  מתאים לשירות לקוחות או עוזר אישי טקסטואלי, בזכות כוונון עמוק למבנה שיחה.

• יצירה ותיקון קוד

  פולט קוד ומסייע באיתור תקלות בפיתוח, כל עוד הפרויקט מסתמך על ידע עד מרץ 2023.

• תמצות מסמכים קצרים

  יעיל בניתוח טקסטים עד 8,192 טוקנים, תוך שמירה על ביצועי הבנת נקרא טובים.

איפה זה נופל

הכרטיס מגדיר בבירור שהמודל מיועד לאנגלית בלבד, וכל שימוש בשפה אחרת מוגדר מחוץ לתחום המיועד בלי כוונון נוסף. הידע שלו נעצר במרץ 2023, ולכן הוא לא מכיר אירועים, ספריות קוד או מידע שהתעדכנו מאז. הוא מקבל ופולט טקסט וקוד בלבד, כך שאי אפשר להזין לו תמונות או קבצי אודיו. לפני שמשלבים אותו במוצר, צריך לבדוק היטב איך הוא מתמודד עם בקשות מחוץ לגבולות האנגלית.

אותה משפחה

Meta-Llama-3 יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים מגיע לכמעט שלושים ג'יגה בייט בפורמט bfloat16, כך שאי אפשר פשוט לזרוק אותו על כרטיס מסך בסיסי בלי לחשוב על זיכרון. כדי לעבוד איתו בצורה נוחה עם חלון של 8,192 טוקנים צריך כרטיס עם זיכרון ייעודי מספק, או לחלופין לבצע קוונטיזציה לחומרה פשוטה יותר.

אפשר למשוך את המשקלים דרך transformers או להשתמש בקוד המקורי של הפרויקט. אם אין לכם שרת ייעודי עם כרטיסי מסך חזקים שרצים סביב השעון, עלויות התחזוקה העצמית יהיו גבוהות בהרבה מפנייה פשוטה לשירותי ענן שמגישים אותו לפי שימוש.

from transformers import pipeline

pipe = pipeline("text-generation", model="meta-llama/Meta-Llama-3-8B-Instruct")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 29.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• original/consolidated.00.pth16.1 GB
• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json9.1 MB
• original/tokenizer.model2.2 MB
• tokenizer_config.json51.0 KB
• README.md38.9 KB
• model.safetensors.index.json23.9 KB
• LICENSE7.8 KB
• USE_POLICY.md4.7 KB
• .gitattributes1.5 KB
• config.json654 B
• original/params.json211 B
• generation_config.json187 B
• special_tokens_map.json73 B

הרישיון

הרישיון הוא רישיון קהילתי ייעודי של מטא המאפשר שימוש מסחרי ומחקרי באנגלית, בכפוף לתנאי השימוש ומדיניות השימוש ההוגן שלהם. שימוש בשפות אחרות דורש כוונון עצמאי שלכם בהתאם לכללים. אם אתם מתכננים להפיץ מוצר מסחרי, חובה לוודא שאתם עומדים בדרישות הרישיון המלאות באתר החברה.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗