Llama-3.2-1B-Instruct-GGUF

מה זה

מדובר בהמרה של דגם Llama 3.2 בעל מיליארד פרמטרים לפורמט GGUF באמצעות llama.cpp וטכניקת imatrix. המטרה כאן היא לא להתחרות במודלים הגדולים בניתוח מעמיק, אלא לספק מענה זריז ומקומי מאוד לפקודות מוגדרות מראש, כשהמשקל של רוב הקבצים נע בין 660 מגה ל־1.3 ג'יגה בלבד.

המודל אומן על שמונה שפות ספציפיות הכוללות אנגלית, גרמנית, ספרדית, צרפתית, איטלקית, פורטוגזית, הינדי ותאילנדית. עברית אינה מופיעה ברשימת השפות הרשמית, ולכן פניות בעברית עלולות להניב פלט משובש או שגוי לחלוטין. אם המשימה שלכם כוללת עברית, הוא כנראה לא הבחירה הנכונה.

מתאים ל

• סיווג טקסט במכשיר קצה

  הוא שוקל פחות מג'יגה, עולה מיד לזיכרון וממיין טקסט פשוט מקומית בלי לגעת באינטרנט.

• חילוץ נתונים מובנה באנגלית

  עובד טוב להמרת טקסט קצר למבנה מוגדר מראש לפי תבנית הפרומפט הרשמית של Instruct.

• עיבוד על שבבי ARM

  הגרסאות המותאמות כמו Q4_0_4_4 מאפשרות ביצועים מהירים במיוחד על חומרת מובייל ומעבדי ARM.

איפה זה נופל

זה מודל של מיליארד פרמטרים בלבד, והציפיות צריכות להתאים. הוא יתקשה מאוד במשימות הסקה מורכבות, בלוגיקה רב־שלבית או בכתיבת קוד סבוך, והוא נוטה להזיות כשההנחיות מעורפלות. חלון ההקשר ותאריך חיתוך הידע מדצמבר 2023 מגבילים אותו למידע ישן יחסית, כך שחובה לבדוק היטב את הפלט שלו לפני שמחברים אותו לזרימת עבודה אמיתית.

אותה משפחה

Llama-3.2 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

בגלל הגודל הזעיר, אין שום צורך בכרטיס מסך ייעודי כדי לעבוד איתו. גרסת ברירת המחדל המומלצת היא Q4_K_M ששוקלת 810 מגה בלבד, והיא רצה בלי בעיה על מעבד של לפטופ פשוט או על טלפון, ישירות דרך llama.cpp או תוכנות כמו LM Studio. יש גם גרסאות ייעודיות לשבבי ARM כמו Q4_0_4_4 שמשפרות מהירות.

אם אתם צריכים איכות טקסט מקסימלית בלי איבוד מידע בכימות, אפשר לקחת את f16 במשקל 2.48 ג'יגה. לעומת זאת, אם אתם בונים שירות שצריך לטפל במאות משתמשים בו־זמנית, שרת מקומי קטן על מעבד ייחנק תחת עומס, ושם כבר עדיף לשלם לפי טוקן ל־API חיצוני.

ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

21 קבצים במאגר, 16.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Llama-3.2-1B-Instruct-f16.gguf2.5 GB
• Llama-3.2-1B-Instruct-Q8_0.gguf1.3 GB
• Llama-3.2-1B-Instruct-Q6_K_L.gguf1.1 GB
• Llama-3.2-1B-Instruct-Q6_K.gguf1.0 GB
• Llama-3.2-1B-Instruct-Q5_K_L.gguf975.1 MB
• Llama-3.2-1B-Instruct-Q5_K_M.gguf911.5 MB
• Llama-3.2-1B-Instruct-Q5_K_S.gguf892.6 MB
• Llama-3.2-1B-Instruct-Q4_K_L.gguf871.3 MB
• Llama-3.2-1B-Instruct-Q4_K_M.gguf807.7 MB
• Llama-3.2-1B-Instruct-Q3_K_XL.gguf796.1 MB
• Llama-3.2-1B-Instruct-Q4_K_S.gguf775.6 MB
• Llama-3.2-1B-Instruct-Q4_0.gguf773.0 MB
• Llama-3.2-1B-Instruct-Q4_0_4_4.gguf770.9 MB
• Llama-3.2-1B-Instruct-Q4_0_4_8.gguf770.9 MB
• Llama-3.2-1B-Instruct-Q4_0_8_8.gguf770.9 MB
• Llama-3.2-1B-Instruct-IQ4_XS.gguf743.1 MB
• Llama-3.2-1B-Instruct-Q3_K_L.gguf732.5 MB
• Llama-3.2-1B-Instruct-IQ3_M.gguf657.3 MB
• Llama-3.2-1B-Instruct.imatrix1.3 MB
• README.md24.3 KB
• .gitattributes2.8 KB

הרישיון

השימוש כפוף לרישיון llama3.2 של מטא. הוא מאפשר שימוש מסחרי ומחקר, אך כפוף למדיניות השימוש המקובל שלהם ולמגבלות על בסיס משתמשים חודשי של מעל 700 מיליון איש. אם אתם מוציאים מוצר לקהל הרחב, אתם נדרשים לשמור על תנאי הרישיון המקוריים של מטא.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗