unsloth/Llama-3.3-70B-Instruct-GGUF

מה זה

המאגר הזה מכיל המרות של Llama 3.3 70B לעבודה יעילה עם מעבדים וכרטיסים גרפיים. מטא אימנה אותו על מעל 15 טריליון טוקנים עם חלון הקשר של 128k, והוא עבר כוונון ייעודי לשיחות, כתיבת קוד והפעלת כלים חיצוניים.

במבחני ביצועים, השיפור מול דור 3.1 ניכר בעיקר ביכולת המעקב אחרי הוראות מורכבות, שם הוא מגיע לציון 92.1 ב־IFEval לעומת 87.5 בדגם הקודם. גם בתכנות יש קפיצה משמעותית עם 88.4 ב־HumanEval, ציון שנושק לדגם הענק של 405B, מה שאומר שבפועל מקבלים רמת דיוק גבוהה בהרבה בלי להחזיק תשתית מפלצתית.

מתאים ל

• פיתוח כלי קוד פנימיים

  הוא מציג 88.4 במבחן HumanEval, ומספק חלופה מקומית מעולה לעבודה מול מאגרי קוד פרטיים.

• יצירת דאטה סינתטי

  תנאי הרישיון מאפשרים זיקוק והפקת דאטה לאימון מודלים קטנים יותר ביעילות גבוהה.

• עיבוד מסמכים ארוכים באנגלית

  חלון של 128k טוקנים ויכולת היגיון של 50.5 ב־GPQA מאפשרים לנתח מאמרים ודוחות מורכבים.

איפה זה נופל

המודל תומך רשמית בשמונה שפות בלבד: אנגלית, גרמנית, צרפתית, איטלקית, פורטוגזית, הינדי, ספרדית ותאילנדית. עברית לא ברשימה הזו, והמפתחים מזהירים בפירוש משימוש בשפות לא נתמכות בלי לבצע אימון נוסף ובדיקות בטיחות עצמאיות.

מעבר לזה, תאריך העדכון של נתוני האימון נעצר בדצמבר 2023, כך שהוא לא מכיר אירועים או ספריות מהזמן האחרון. בבדיקות של הפעלת כלים הוא קיבל 77.3 ב־BFCL v2, תוצאה זהה לדור הקודם, כך שבתחום הזה אין שיפור אמיתי.

אותה משפחה

Llama-3.3 יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים במאגר מגיע ל־1.2TB כי הוא כולל רמות שונות של כימות, אבל מורידים רק קובץ ספציפי. בשביל להריץ גרסת 4 ביט תצטרכו כרטיס עם לפחות 48GB זיכרון גרפי, כמו שני כרטיסי RTX 3090 או כרטיס A6000 בודד, אחרת הדגם יגלוש לזיכרון המערכת ויעבוד לאט מדי.

אפשר לטעון אותו ישירות דרך ספריות כמו Transformers עם bitsandbytes או מנועי הרצה מבוססי llama.cpp. אם אתם צריכים את המודל רק לניסויים או לעומסי עבודה נמוכים, החזקה של שרת כזה תעלה הרבה יותר משימוש ב־API חיצוני שמתמחר לפי טוקנים בפועל.

ollama run hf.co/unsloth/Llama-3.3-70B-Instruct-GGUF:Q5_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

42 קבצים במאגר, 1.2 TB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• UD-Q6_K_XL/Llama-3.3-70B-Instruct-UD-Q6_K_XL-00001-of-00002.gguf50.0 GB
• Q6_K/Llama-3.3-70B-Instruct-Q6_K-00001-of-00002.gguf50.0 GB
• Llama-3.3-70B-Instruct-Q5_K_M.gguf49.9 GB
• UD-Q8_K_XL/Llama-3.3-70B-Instruct-UD-Q8_K_XL-00001-of-00002.gguf49.9 GB
• BF16/Llama-3.3-70B-Instruct-BF16-00001-of-00003.gguf49.9 GB
• Llama-3.3-70B-Instruct-UD-Q5_K_XL.gguf49.9 GB
• BF16/Llama-3.3-70B-Instruct-BF16-00002-of-00003.gguf49.8 GB
• Llama-3.3-70B-Instruct-Q5_K_S.gguf48.7 GB
• Llama-3.3-70B-Instruct-Q4_1.gguf44.3 GB
• Llama-3.3-70B-Instruct-UD-Q4_K_XL.gguf42.7 GB
• Llama-3.3-70B-Instruct-Q4_K_M.gguf42.5 GB
• BF16/Llama-3.3-70B-Instruct-BF16-00003-of-00003.gguf41.5 GB
• Llama-3.3-70B-Instruct-Q4_K_S.gguf40.3 GB
• Llama-3.3-70B-Instruct-Q4_0.gguf40.1 GB
• Llama-3.3-70B-Instruct-IQ4_NL.gguf40.1 GB
• Llama-3.3-70B-Instruct-F16/Llama-3.3-70B-Instruct-F16-00003-of-00004.gguf40.0 GB
• Llama-3.3-70B-Instruct-F16/Llama-3.3-70B-Instruct-F16-00002-of-00004.gguf39.8 GB
• Llama-3.3-70B-Instruct-Q8_0/Llama-3.3-70B-Instruct-Q8_0-00001-of-00002.gguf39.8 GB
• Llama-3.3-70B-Instruct-F16/Llama-3.3-70B-Instruct-F16-00001-of-00004.gguf39.8 GB
• Llama-3.3-70B-Instruct-IQ4_XS.gguf37.9 GB
• Llama-3.3-70B-Instruct-Q8_0/Llama-3.3-70B-Instruct-Q8_0-00002-of-00002.gguf35.2 GB
• Llama-3.3-70B-Instruct-UD-Q3_K_XL.gguf34.8 GB
• Llama-3.3-70B-Instruct-Q3_K_M.gguf34.3 GB
• UD-Q8_K_XL/Llama-3.3-70B-Instruct-UD-Q8_K_XL-00002-of-00002.gguf31.3 GB
• Llama-3.3-70B-Instruct-Q3_K_S.gguf30.9 GB
• Llama-3.3-70B-Instruct-Q6_K/Llama-3.3-70B-Instruct-Q6_K-00001-of-00002.gguf29.9 GB
• Llama-3.3-70B-Instruct-Q6_K/Llama-3.3-70B-Instruct-Q6_K-00002-of-00002.gguf28.0 GB
• Llama-3.3-70B-Instruct-UD-IQ3_XXS.gguf27.7 GB
• Llama-3.3-70B-Instruct-UD-Q2_K_XL.gguf27.0 GB
• Llama-3.3-70B-Instruct-Q2_K_L.gguf26.6 GB
• Llama-3.3-70B-Instruct-Q2_K.gguf26.4 GB
• Llama-3.3-70B-Instruct-UD-IQ2_M.gguf24.3 GB
• Llama-3.3-70B-Instruct-F16/Llama-3.3-70B-Instruct-F16-00004-of-00004.gguf21.5 GB
• Llama-3.3-70B-Instruct-UD-IQ2_XXS.gguf19.4 GB
• Llama-3.3-70B-Instruct-UD-IQ1_M.gguf17.1 GB
• Llama-3.3-70B-Instruct-UD-IQ1_S.gguf15.9 GB
• UD-Q6_K_XL/Llama-3.3-70B-Instruct-UD-Q6_K_XL-00002-of-00002.gguf11.2 GB
• Q6_K/Llama-3.3-70B-Instruct-Q6_K-00002-of-00002.gguf7.9 GB
• imatrix_unsloth.dat24.9 MB
• README.md26.1 KB

הרישיון

הרישיון הוא רישיון הקהילה של Llama 3.3. הוא מאפשר שימוש מסחרי ומחקרי, וכולל היתר מפורש לייצר באמצעותו נתונים סינתטיים לצורך אימון וזיקוק של מודלים אחרים, בכפוף לתנאי השימוש ומדיניות הבטיחות של מטא.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗