Llama-3.1-8B-Instruct-GGUF

מה זה

מטא אימנה את הדגם הזה על 15 טריליון טוקנים, וצוות unsloth ארז אותו בפורמט GGUF שמיועד להרצה מהירה על מעבדים וכרטיסי מסך ביתיים. השינוי הבולט ביותר מול הדור הקודם הוא חלון הקשר עצום של 128 אלף טוקנים, שמאפשר לבלוע מסמכים ארוכים בלי לאבד את הצפון.

במבחני ביצועים רואים קפיצה של ממש ביחס לגרסת 8B הקודמת, בעיקר בכתיבת קוד ובשימוש בכלים חיצוניים. במבחן HumanEval הוא מגיע ל־72.6 אחוז לעומת 60.4 אחוז במודל הישן, ובמבחן API-Bank שמודד קריאות לפונקציות הוא מזנק ל־82.6 אחוז לעומת 48.3 אחוז. הוא עדיין ברמת כניסה מול דגמי ה־70B, אבל למשימות מוגדרות הוא נותן עבודה יציבה.

מתאים ל

• קריאה לפונקציות וכלים

  קפיצה ל־82.6 אחוז במבחן API-Bank הופכת אותו למנוע מעולה לניתוב פקודות והפעלת סקריפטים.

• סיוע בכתיבת קוד

  מתאים להשלמת קוד מקומית ב־IDE בזכות זינוק בביצועי HumanEval וזמני תגובה קצרים במחשב אישי.

• סיכום מסמכים באנגלית

  חלון של 128 אלף טוקנים מאפשר להזין קובצי לוג ומפרטים טכניים מלאים בלי לחתוך אותם מראש.

איפה זה נופל

השפות הרשמיות הנתמכות הן אנגלית, גרמנית, צרפתית, איטלקית, פורטוגזית, הינדי, ספרדית ותאילנדית בלבד. עברית לא נמצאת ברשימה הזו, ואם תנסו להריץ עליו טקסטים מקומיים מורכבים תיתקלו בתחביר שבור והזיות. בנוסף, מידע האימון שלו נעצר בדצמבר 2023, ובמשימות היגיון מדעי מתקדם כמו מבחן GPQA הוא השיג רק 30.4 אחוז, ירידה קלה אפילו מול הדור הקודם.

איך מריצים

המאגר כולל 29 קבצים במשקל כולל של 118 גיגה בייט, שזה בעצם אוסף של דרגות כימות שונות. בפועל אתם לא מורידים את כל המשקל הזה אלא בוחרים קובץ בודד, לרוב בכימות 4-bit או 8-bit, שיכול לרוץ בנוחות על כרטיס מסך ביתי עם 8 עד 16 גיגה זיכרון דרך llama.cpp או Ollama.

אם אתם צריכים לחבר את המודל למוצר עם תעבורה גבוהה וכמה פניות במקביל, שרת מקומי בודד ייחנק די מהר. במצב כזה עדיף לשלם לפי טוקן לשירות ענן שמארח אותו במקום לנהל תשתית עצמאית.

ollama run hf.co/unsloth/Llama-3.1-8B-Instruct-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

29 קבצים במאגר, 118 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Llama-3.1-8B-Instruct-BF16.gguf16.1 GB
• Llama-3.1-8B-Instruct-UD-Q8_K_XL.gguf10.6 GB
• Llama-3.1-8B-Instruct-UD-Q6_K_XL.gguf7.3 GB
• Llama-3.1-8B-Instruct-Q6_K.gguf6.6 GB
• Llama-3.1-8B-Instruct-UD-Q5_K_XL.gguf5.7 GB
• Llama-3.1-8B-Instruct-Q5_K_M.gguf5.7 GB
• Llama-3.1-8B-Instruct-Q5_K_S.gguf5.6 GB
• Llama-3.1-8B-Instruct-Q4_1.gguf5.1 GB
• Llama-3.1-8B-Instruct-UD-Q4_K_XL.gguf5.0 GB
• Llama-3.1-8B-Instruct-Q4_K_M.gguf4.9 GB
• Llama-3.1-8B-Instruct-Q4_K_S.gguf4.7 GB
• Llama-3.1-8B-Instruct-IQ4_NL.gguf4.7 GB
• Llama-3.1-8B-Instruct-Q4_0.gguf4.7 GB
• Llama-3.1-8B-Instruct-IQ4_XS.gguf4.5 GB
• Llama-3.1-8B-Instruct-UD-Q3_K_XL.gguf4.2 GB
• Llama-3.1-8B-Instruct-Q3_K_M.gguf4.0 GB
• Llama-3.1-8B-Instruct-Q3_K_S.gguf3.7 GB
• Llama-3.1-8B-Instruct-UD-Q2_K_XL.gguf3.4 GB
• Llama-3.1-8B-Instruct-UD-IQ3_XXS.gguf3.3 GB
• Llama-3.1-8B-Instruct-Q2_K_L.gguf3.3 GB
• Llama-3.1-8B-Instruct-Q2_K.gguf3.2 GB
• Llama-3.1-8B-Instruct-UD-IQ2_M.gguf3.0 GB
• Llama-3.1-8B-Instruct-UD-IQ2_XXS.gguf2.5 GB
• Llama-3.1-8B-Instruct-UD-IQ1_M.gguf2.3 GB
• Llama-3.1-8B-Instruct-UD-IQ1_S.gguf2.2 GB
• imatrix_unsloth.dat5.0 MB
• README.md33.3 KB
• .gitattributes3.4 KB
• config.json896 B

הרישיון

הרישיון הוא רישיון הקהילה של Llama 3.1, שמתיר שימוש מסחרי ומחקרי חופשי כל עוד אין לכם מעל 700 מיליון משתמשים חודשיים פעילים. תנאי הרישיון גם מרשים להשתמש בפלטים של המודל כדי לאמן ולשפר מודלים אחרים.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗