GPT
הוספת כלי
M

Meta-Llama-3-70B-Instruct

קוד פתוח

meta-llamallama32024-04-17

  • transformers
  • safetensors
  • llama
  • text-generation
  • facebook

גרסת ההוראות הגדולה של מטא מציגה זינוק ביצועים משמעותי ביחס לדור הקודם. היא הבחירה הטבעית למי שמחפש קוד פתוח ברמה גבוהה ומוכן לשלם על החומרה.

  • 71Bפרמטרים
  • 8,192טוקנים בהקשר
  • 263 GBמשקל הקבצים
  • 48,986הורדות בחודש

מה זה

מטא אימנה את הדגם על מעל 15 טריליון טוקנים עם נתונים שהתעדכנו עד דצמבר 2023, ושילבה כוונון עם מעל עשרה מיליון דוגמאות מתויגות. התוצאה היא מודל שיחה שמתחרה ישירות בפתרונות סגורים, במיוחד במשימות חשיבה וכתיבת קוד.

במבחנים כמו HumanEval הוא מזנק לציון של 81.7 לעומת 25.6 בלבד בגרסת ה־70B הקודמת, ובמבחן המתמטיקה GSM-8K הוא מגיע ל־93. המספרים האלה אומרים שבפועל מדובר בכלי שיודע לעקוב אחרי הוראות מורכבות, לפתור בעיות לוגיות ולכתוב קוד תקין בלי לאבד את ההקשר הבסיסי של המשימה.

מתאים ל

  • פיתוח כלי כתיבת קוד

    עם ציון 81.7 במבחן HumanEval הוא מתמודד מצוין עם השלמת קוד ובדיקות באנגלית.

  • עוזרי שיחה באנגלית

    האימון כלל מעל עשרה מיליון דוגמאות שיחה ומספק מענה קוהרנטי ומדויק.

  • פתרון בעיות לוגיות

    התוצאות במבחני חשיבה כמו GSM-8K מאפשרות פירוק של שאלות מורכבות לשלבים.

איפה זה נופל

הבעיה המרכזית שלו היא שפות שאינן אנגלית. מטא הגדירה מפורשות ששימוש בכל שפה אחרת נמצא מחוץ לטווח השימוש המיועד, אלא אם מבצעים כוונון נוסף, כך שאי אפשר לבנות עליו לעברית יציבה מהקופסה. בנוסף, חלון ההקשר עומד על 8,192 טוקנים בלבד, שזה מעט מאוד למסמכים ארוכים.

אותה משפחה

Meta-Llama-3 יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Meta-Llama-3-8B-Instruct1,313,574 Meta-Llama-3-8B346,965 Meta-Llama-3-70B112,956

שאלות
נפוצות

האם אפשר להשתמש במודל הזה עבור מוצר בעברית?

לא מומלץ כלל ללא אימון נוסף. מטא הגדירה את השימוש בכל שפה פרט לאנגלית כחריגה מהייעוד של המודל, ובדיקות מראות שהאימון לא התמקד בשפות אחרות.

האם כדאי להריץ אותו על שרת פרטי במשרד?

זה לא מעשי לרוב החברות. מדובר במשקל קבצים של 263 גיגה בייט שדורש מערך מאיצים יקר ורוחב פס גבוה, ולכן עדיף להשתמש ב־API מנוהל.

איך מריצים

כדי להריץ 70 מיליארד פרמטרים ב־bfloat16 צריך שרת ייעודי כבד מאוד. קבצי המודל שוקלים 263 גיגה בייט, כך שאי אפשר להסתפק במאיץ גרפי בודד ונדרשים לפחות שניים עד ארבעה כרטיסים מקצועיים כמו A100 או H100 רק כדי להחזיק אותו בזיכרון.

אפשר להשתמש בספריית transformers עם device_map אוטומטי או בקוד המקורי של מטא. אם אין לכם גישה לשרת כזה בענן או צורך קשיח בפרטיות מידע מקומית, עדיף בהרבה לצרוך אותו דרך ספק API חיצוני ולא להחזיק תשתית פיזית.

from transformers import pipeline

pipe = pipeline("text-generation", model="meta-llama/Meta-Llama-3-70B-Instruct")
print(pipe("שלום"))

הקבצים

50 קבצים במאגר, 263 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא רישיון הקהילה של מטא, והוא מתיר שימוש מסחרי ומחקרי בכפוף למדיניות השימוש שלהם. אם אתם מתכננים מוצר שפונה לקהל הרחב באנגלית זה מתאים, אך יש לעקוב אחר תנאי הרישיון המלאים באתר של מטא לפני הפצה.

  • שימוש מסחרי עד 700 מיליון משתמשים
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗