unsloth/Qwen3-0.6B-GGUF

מה זה

מדובר במודל שפה קומפקטי במיוחד שמגיע מבית עליבאבא ועבר המרה לפורמט GGUF על ידי צוות Unsloth. למרות גודלו המזערי, הוא כולל מנגנון שמאפשר לעבור בין מצב חשיבה מעמיק עם תגיות ייעודיות לבין מצב שיחה רגיל ומהיר. הדבר מאפשר לו לנסות להתמודד עם שאלות לוגיקה, קוד ומתמטיקה מעבר למה שמצפים ממודל של פחות ממיליארד פרמטרים.

בנוסף ליכולות החשיבה, הוא תומך בהפעלת כלים חיצוניים ומערכות סוכנים, וכולל תמיכה מוצהרת במעל למאה שפות שונות. המפרט הטכני מציין חלון הקשר של עשרות אלפי טוקנים, מה שמאפשר לו לקלוט טקסטים ארוכים יחסית, אם כי הכרטיס מציג סתירה קלה בין נתון של 32,768 טוקנים בעמוד לבין 40,960 טוקנים בהגדרות הטכניות.

מתאים ל

• הפעלה מקומית על מכשירי קצה

  צריכת הזיכרון הנמוכה מתאימה למחשבים ישנים, מחשבי לוח או טלפונים שאין להם גישה לרשת.

• סוכן פשוט להפעלת כלים

  המודל כולל אימון לקריאה לכלים חיצוניים ויכול לשמש רכיב החלטה מהיר במערכות אוטומציה.

• משימות סיווג וסיכום באנגלית

  ללא מצב חשיבה הוא מייצר תגובות במהירות גבוהה ומתאים לתיוג טקסטים או חילוץ נתונים.

איפה זה נופל

זה עדיין מודל של 0.6 מיליארד פרמטרים, ולא מנוע ענק. הוא נוטה לחזרות אינסופיות בלולאות פלט אם משתמשים בדגימה חמדנית, ולכן היצרן אוסר עליה במפורש ומחייב הגדרת טמפרטורה מדויקת. בנוסף, חלון ההקשר המדווח לא לגמרי עקבי בין חלקי התיעוד. למרות הצהרה על תמיכה בהמון שפות, מטא הדאטה מסמן אנגלית בלבד, כך שאיכות העברית דורשת בדיקה קפדנית לפני שמסתמכים עליה.

אותה משפחה

Qwen3 יצא ב־10 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

איך מריצים

כדי להריץ אותו לא צריך כרטיס מסך ייעודי של שרתים. פורמט GGUF נבנה עבור llama.cpp, Ollama וממשקים דומים, כך שזיכרון עבודה פשוט של כמה גיגה בייט במחשב אישי מספיק בהחלט. כל המשקל של הקבצים יחד הוא 10.2 גיגה בייט ומחולק לעשרות קבצים שמכילים רמות כיול שונות, כך שאפשר לבחור קובץ יחיד שמתאים למגבלות הזיכרון שלכם.

ההרצה מתבצעת ישירות מול המעבד או על כרטיס גרפי ביתי, תוך שימוש בפקודות כמו think או no_think כדי לשלוט במצב העבודה. אם אתם זקוקים לתשובות מהירות בלי להעמיס על המעבד המקומי, שווה לשקול פנייה לשרת מרוחק דרך vLLM או SGLang, שניהם נתמכים ישירות בהנחיות המקוריות.

ollama run hf.co/unsloth/Qwen3-0.6B-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

32 קבצים במאגר, 10.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Qwen3-0.6B-BF16.gguf1.2 GB
• Qwen3-0.6B-UD-Q8_K_XL.gguf844.3 MB
• Qwen3-0.6B-Q8_0.gguf639.4 MB
• Qwen3-0.6B-UD-Q6_K_XL.gguf576.5 MB
• Qwen3-0.6B-Q6_K.gguf495.1 MB
• Qwen3-0.6B-UD-Q5_K_XL.gguf446.4 MB
• Qwen3-0.6B-Q5_K_M.gguf444.4 MB
• Qwen3-0.6B-Q5_K_S.gguf436.6 MB
• Qwen3-0.6B-Q4_1.gguf409.1 MB
• Qwen3-0.6B-UD-Q4_K_XL.gguf405.4 MB
• Qwen3-0.6B-Q4_K_M.gguf396.7 MB
• Qwen3-0.6B-Q4_K_S.gguf383.3 MB
• Qwen3-0.6B-Q4_0.gguf382.2 MB
• Qwen3-0.6B-IQ4_NL.gguf381.6 MB
• Qwen3-0.6B-IQ4_XS.gguf367.8 MB
• Qwen3-0.6B-UD-Q3_K_XL.gguf356.6 MB
• Qwen3-0.6B-Q3_K_M.gguf347.1 MB
• Qwen3-0.6B-Q3_K_S.gguf323.1 MB
• Qwen3-0.6B-UD-Q2_K_XL.gguf301.7 MB
• Qwen3-0.6B-Q2_K.gguf296.2 MB
• Qwen3-0.6B-Q2_K_L.gguf296.2 MB
• Qwen3-0.6B-UD-IQ3_XXS.gguf282.1 MB
• Qwen3-0.6B-UD-IQ2_M.gguf268.7 MB
• Qwen3-0.6B-UD-IQ2_XXS.gguf234.1 MB
• Qwen3-0.6B-UD-IQ1_M.gguf220.8 MB
• Qwen3-0.6B-UD-IQ1_S.gguf214.6 MB
• imatrix_unsloth.dat1.2 MB
• README.md17.1 KB
• .gitattributes3.1 KB
• template1.5 KB
• config.json752 B
• params178 B

הרישיון

הפרויקט מופץ תחת רישיון Apache 2.0. הרישיון מאפשר שימוש חופשי לגמרי, כולל שינוי של הקוד והמשקולות, שילוב במוצרים מסחריים והפצה ללקוחות. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים ועותק הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗