unsloth/Llama-3.2-1B-Instruct-GGUF

מה זה

המאגר הזה מכיל המרות של מודל ההוראות בגודל מיליארד פרמטרים ממשפחת Llama 3.2. מטא אימנה אותו למשימות שיחה, סיכום ושליפת מידע, כשהייחוד המרכזי בגודל הזה הוא חלון הקשר עצום של 131,072 טוקנים. בדרך כלל מודלים קטנים כאלה מגיעים עם חלון צר מאוד, וכאן יש יכולת תיאורטית להעמיס טקסטים שלמים ישירות לתוך הפרומפט.

צוות Unsloth ארז כאן קבצים ברמות כימות שונות, החל מגרסאות 16 ביט ועד גרסאות דחוסות של 2 ביט. המודל מתמקד ביצירת טקסט בלבד ועבר כוונון עם משוב אנושי כדי להתאים לשיחה. הוא בנוי לעבודה רזה, אך בגודל כזה היכולות שלו מוגבלות בעיקר להבנת הוראות ישירות ולא לפתרון בעיות סבוכות.

מתאים ל

• סיכום טקסטים באנגלית

  מתאים לעיבוד מקומי וזול של מאמרים קצרים באנגלית בלי להוציא מידע מחוץ למכשיר.

• סיווג נתונים ושיחות

  עובד מהר על מעבדים פשוטים לצורך מיון פניות או חילוץ פרטים קבועים מתוך טקסט.

• בוט שיחה קל למכשיר קצה

  צורך מעט מאוד משאבים ומספק תשובות בסיסיות להוראות ישירות ללא תלות ברשת.

איפה זה נופל

מודל של מיליארד פרמטרים עושה טעויות, ממציא עובדות בקלות ומתקשה מאוד בחשיבה רב-שלבית. בנוסף, רשימת השפות הנתמכות רשמית כוללת שמונה שפות בלבד כמו אנגלית, גרמנית ותאילנדית. עברית אינה ברשימה הזו, ולכן אי אפשר להסתמך עליו לפרויקטים בעברית בלי בדיקה מקיפה או אימון מקדים.

גם חלון ההקשר הגדול עלול להטעות. העובדה שהוא מסוגל לקבל 131 אלף טוקנים לא אומרת שהוא מצליח לעבד אותם בלי לאבד פרטים חשובים באמצע הטקסט.

אותה משפחה

Llama-3.2 יצא ב־6 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

לא צריך כרטיס מסך ייעודי כדי להריץ את המודל הזה. בגלל שמדובר בפורמט GGUF ובמודל של מיליארד פרמטרים בלבד, גרסאות הביניים כמו 4 ביט או 5 ביט רצות בקלות על זיכרון של מחשב נייד ממוצע או מעבד פשוט, ותופסות מעט מאוד גיגה-בייטים של זיכרון עבודה.

גרסאות 16 ביט או 8 ביט שומרות על דיוק גבוה יותר אבל דורשות יותר זיכרון, בעוד גרסאות 2 ביט ו־3 ביט חוסכות מקום במחיר פגיעה חדה באיכות הפלט. אם המשימה שלכם דורשת ניתוח לוגי עמוק, עדיף לפנות למודל גדול יותר דרך שירות ענן, כי להריץ מיליארד פרמטרים מקומית שווה בעיקר כשחשוב לכם שהמידע לא ייצא מהמחשב.

ollama run hf.co/unsloth/Llama-3.2-1B-Instruct-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

31 קבצים במאגר, 23.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Llama-3.2-1B-Instruct-BF16.gguf2.5 GB
• Llama-3.2-1B-Instruct-F16.gguf2.5 GB
• Llama-3.2-1B-Instruct-UD-Q8_K_XL.gguf1.8 GB
• Llama-3.2-1B-Instruct-Q8_0.gguf1.3 GB
• Llama-3.2-1B-Instruct-UD-Q6_K_XL.gguf1.2 GB
• Llama-3.2-1B-Instruct-Q6_K.gguf1.0 GB
• Llama-3.2-1B-Instruct-UD-Q5_K_XL.gguf920.0 MB
• Llama-3.2-1B-Instruct-Q5_K_M.gguf911.5 MB
• Llama-3.2-1B-Instruct-Q5_K_S.gguf892.6 MB
• Llama-3.2-1B-Instruct-UD-Q4_K_XL.gguf834.2 MB
• Llama-3.2-1B-Instruct-Q4_1.gguf831.7 MB
• Llama-3.2-1B-Instruct-Q4_K_M.gguf807.7 MB
• Llama-3.2-1B-Instruct-Q4_K_S.gguf775.6 MB
• Llama-3.2-1B-Instruct-IQ4_NL.gguf773.0 MB
• Llama-3.2-1B-Instruct-Q4_0.gguf773.0 MB
• Llama-3.2-1B-Instruct-IQ4_XS.gguf743.1 MB
• Llama-3.2-1B-Instruct-UD-Q3_K_XL.gguf724.0 MB
• Llama-3.2-1B-Instruct-Q3_K_M.gguf690.8 MB
• Llama-3.2-1B-Instruct-Q3_K_S.gguf641.7 MB
• Llama-3.2-1B-Instruct-UD-Q2_K_XL.gguf605.5 MB
• Llama-3.2-1B-Instruct-Q2_K.gguf580.9 MB
• Llama-3.2-1B-Instruct-Q2_K_L.gguf580.9 MB
• Llama-3.2-1B-Instruct-UD-IQ3_XXS.gguf575.4 MB
• Llama-3.2-1B-Instruct-UD-IQ2_M.gguf536.3 MB
• Llama-3.2-1B-Instruct-UD-IQ2_XXS.gguf464.3 MB
• Llama-3.2-1B-Instruct-UD-IQ1_M.gguf439.2 MB
• Llama-3.2-1B-Instruct-UD-IQ1_S.gguf421.6 MB
• imatrix_unsloth.dat1.3 MB
• README.md5.8 KB
• .gitattributes3.5 KB
• config.json894 B

הרישיון

הרישיון הוא Llama 3.2 Community License של מטא, שמאפשר שימוש מסחרי חופשי תחת תנאי הרישוי והשימוש ההוגן שלהם. אם המוצר שלכם עובר מאות מיליוני משתמשים יש צורך לבקש אישור מיוחד ממטא, אך לרוב הפיתוחים והעסקים השימוש פתוח לחלוטין.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗