Qwen3-1.7B-GGUF

מה זה

מדובר בגרסת GGUF של Qwen3 עם 1.7 מיליארד פרמטרים, שפותחה במקור על ידי עליבאבא ונארזה מחדש על ידי Unsloth. החידוש העיקרי כאן הוא מנגנון החלפה בין שני מצבי עבודה באותו קובץ: מצב חשיבה שמשתמש בשרשראות היסק בתוך תגיות ייעודיות לפתרון משימות קוד ומתמטיקה, ומצב ישיר ומהיר לשיחה רגילה. המעבר מתבצע פשוט על ידי שליחת הפקודות think/ או no_think/ בתוך השיחה.

הוא שונה מדגמים קטנים קודמים בכך ששולבו בו יכולות הפעלת כלים וסוכנים לצד תמיכה בחלון הקשר עמוק, שמגיע עד 32,768 טוקנים בהמלצות העבודה ומדווח ברמת ארכיטקטורה של עד 40,960 טוקנים. הוא עוצב להחליף מודלים ייעודיים לפתרון בעיות בלי לדרוש משאבים כבדים, וכולל ארכיטקטורת 28 שכבות עם מנגנון GQA.

מתאים ל

• סוכן מקומי להפעלת כלים

  ביצוע קריאות לפונקציות וכלים חיצוניים על חומרת קצה ללא שליחת נתונים החוצה.

• עוזר שיחה במכשירים ניידים

  תפעול צ'אט מקומי ומהיר במצב ללא חשיבה על מעבדים פשוטים וזיכרון נמוך.

• פתרון בעיות קוד במצב מבודד

  מצב חשיבה שמאפשר היסק לוגי ובדיקת קוד ללא תלות ברשת חיצונית.

איפה זה נופל

הגודל הקומפקטי גובה מחיר ביציבות ההיסק. היוצרים מזהירים במפורש לא להשתמש ב־greedy decoding במצב חשיבה, כי המודל נכנס לחזרות אינסופיות וירידה קשה בביצועים. חובה לקנפג טמפרטורה מדויקת של 0.6 ופרמטרים מוגדרים מראש. בנוסף, אם תעלו את ערך ה־presence_penalty כדי למנוע חזרות, המודל עלול לערבב שפות באמצע התשובה. מבחינת שפות המידע הרשמי מצהיר על אנגלית בלבד, כך שעבודה בעברית מחייבת בדיקה יסודית ולא מובטחת מראש.

אותה משפחה

Qwen3 יצא ב־10 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן, והשאר בעמוד המפרסם.

איך מריצים

בגלל הפורמט של GGUF, אתם מריצים אותו ישירות דרך ספריות כמו llama.cpp, Ollama או בסביבות כמו vLLM ו־SGLang. משקל הקבצים הכולל במאגר עומד על 28.2 ג'יגה בייט על פני 32 קבצים, אבל מדובר באוסף של דרגות כימות שונות, כך שבפועל מורידים רק קובץ כימות בודד. בשביל להריץ אותו לא צריך כרטיס גרפי של שרתים. מחשב נייד מודרני עם מעבד סביר וכמה גיגה בייט בודדים של זיכרון פנוי יריץ אותו בקלות.

שימו לב לדרישות התוכנה: חובה לעבוד עם גרסת transformers מודרנית של 4.51.0 ומעלה כדי להימנע משגיאת זיהוי ארכיטקטורה. אם המטרה שלכם היא להריץ משימות חשיבה מורכבות במיוחד שדורשות פלט ארוך של עשרות אלפי טוקנים, תצטרכו להקצות מספיק זיכרון ל־KV cache, ואז כדאי לשקול פתרונות ענן ייעודיים.

ollama run hf.co/unsloth/Qwen3-1.7B-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

32 קבצים במאגר, 28.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Qwen3-1.7B-BF16.gguf3.4 GB
• Qwen3-1.7B-UD-Q8_K_XL.gguf2.3 GB
• Qwen3-1.7B-Q8_0.gguf1.8 GB
• Qwen3-1.7B-UD-Q6_K_XL.gguf1.6 GB
• Qwen3-1.7B-Q6_K.gguf1.4 GB
• Qwen3-1.7B-UD-Q5_K_XL.gguf1.3 GB
• Qwen3-1.7B-Q5_K_M.gguf1.3 GB
• Qwen3-1.7B-Q5_K_S.gguf1.2 GB
• Qwen3-1.7B-Q4_1.gguf1.1 GB
• Qwen3-1.7B-UD-Q4_K_XL.gguf1.1 GB
• Qwen3-1.7B-Q4_K_M.gguf1.1 GB
• Qwen3-1.7B-Q4_K_S.gguf1.1 GB
• Qwen3-1.7B-Q4_0.gguf1.1 GB
• Qwen3-1.7B-IQ4_NL.gguf1.1 GB
• Qwen3-1.7B-IQ4_XS.gguf1.0 GB
• Qwen3-1.7B-UD-Q3_K_XL.gguf968.9 MB
• Qwen3-1.7B-Q3_K_M.gguf939.5 MB
• Qwen3-1.7B-Q3_K_S.gguf867.3 MB
• Qwen3-1.7B-UD-Q2_K_XL.gguf797.9 MB
• Qwen3-1.7B-Q2_K.gguf777.8 MB
• Qwen3-1.7B-Q2_K_L.gguf777.8 MB
• Qwen3-1.7B-UD-IQ3_XXS.gguf765.2 MB
• Qwen3-1.7B-UD-IQ2_M.gguf708.7 MB
• Qwen3-1.7B-UD-IQ2_XXS.gguf605.8 MB
• Qwen3-1.7B-UD-IQ1_M.gguf561.9 MB
• Qwen3-1.7B-UD-IQ1_S.gguf537.8 MB
• imatrix_unsloth.dat2.1 MB
• README.md17.1 KB
• .gitattributes3.1 KB
• template1.5 KB
• config.json757 B
• params178 B

הרישיון

הרישיון הוא Apache 2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי הקוד, שילוב במוצרים סגורים והפצה מחדש. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים וכתב הוויתור על אחריות, ללא דרישה לחשוף את הקוד שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗