byteshape/Qwen3-4B-Instruct-2507-GGUF

מה זה

מדובר במודל שפת הוראות שעבר כימות באמצעות שיטה בשם ShapeLearn, שמתאימה את סוג הנתונים לכל טנזור בנפרד כדי לצמצם את הפגיעה באיכות כשדוחסים מתחת לארבעה ביטים. החבילה מציעה חלוקה ברורה לשני מסלולים: קובצי KQ שמיועדים לעבודה מהירה על מעבדי אינטל רגילים, וקובצי IQ שמנצלים את החומרה של כרטיסי מסך מודרניים של אנבידיה.

הבדיקות של המפתחים מציגות פערים עצומים ביחס לכיווץ. בגרסאות הנמוכות סביב 2.55 ביט, האיכות המנורמלת צונחת לאזור 70%, מה שאומר ירידה מורגשת מאוד בהבנת הוראות מורכבות. לעומת זאת, כשמטפסים לאזור 4 ביט ומעלה, המודל שומר על כמעט 99% מהיכולת המקורית שלו בנפח של בערך 2 גיגהבייט בלבד.

מתאים ל

• עוזר מקומי על לפטופ ישן

  שוקל פחות משני גיגהבייט ומספק מענה סביר לפקודות פשוטות בלי להעמיס על המעבד או הזיכרון.

• בוט קצה במכשירי IoT

  מתאים לשרתים זעירים בזכות גרסאות ה־KQ שמותאמות לריצה על מעבדים חלשים ללא מאיץ גרפי.

• סינון ומיון טקסט מקומי

  גרסאות ה־4 ביט מגיעות לביצועים כמעט מלאים בנפח זעיר שמתאים למיון מהיר בלי עלויות ענן.

איפה זה נופל

במשקלים הנמוכים ביותר, סביב 2.55 עד 2.77 ביט, המודל מאבד בערך 30% מהביצועים שלו לפי המדד המנורמל של היוצרים. ברמות האלה הוא נוטה לאבד עקביות, לשגות במבנה הפלט ולהתקשות במעקב אחר הנחיות שלילה. בנוסף, תוויות השמות של הקבצים כמו IQ4_XS מטעות ולא תואמות לפרופילים הרגילים של llama.cpp, מה שמחייב לבדוק את מספר הביטים המדויק לפני הבחירה.

איך מריצים

טוענים את הקבצים ישירות לתוך llama.cpp או מריצים פקודה אחת פשוטה בתוך Ollama שמורידה את הקובץ הספציפי מהמאגר. אם מריצים על מעבד רגיל, לוקחים קובץ עם סיומת KQ. אם יש כרטיס מסך מודרני, בוחרים בקובץ מסדרת IQ לקבלת קצב ייצור מילים גבוה יותר.

מבחינת חומרה, קבצים של 1.3 עד 2.4 גיגהבייט ירוצו בקלות על כל מחשב נייד מודרני או שרת ענן פשוט, ואפילו על רספברי פאי לפי נתוני הפרויקט. אם אתם צריכים לנתח מסמכים ארוכים או לבצע משימות היגיון סבוכות מאוד, אין סיבה להתעקש על הרצה מקומית של 4 מיליארד פרמטרים, ועדיף לשלוח קריאה לשרת חיצוני עם מודל ענק.

ollama run hf.co/byteshape/Qwen3-4B-Instruct-2507-GGUF:Q4_K_S

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

22 קבצים במאגר, 28.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Qwen3-4B-Instruct-2507-Q5_K_S-4.74bpw.gguf2.4 GB
• Qwen3-4B-Instruct-2507-IQ4_XS-4.54bpw.gguf2.3 GB
• Qwen3-4B-Instruct-2507-Q4_K_S-4.31bpw.gguf2.2 GB
• Qwen3-4B-Instruct-2507-IQ4_XS-4.04bpw.gguf2.0 GB
• Qwen3-4B-Instruct-2507-Q4_K_S-3.87bpw.gguf2.0 GB
• Qwen3-4B-Instruct-2507-Q4_K_S-3.66bpw.gguf1.8 GB
• Qwen3-4B-Instruct-2507-IQ4_XS-3.55bpw.gguf1.8 GB
• Qwen3-4B-Instruct-2507-Q3_K_S-3.45bpw.gguf1.7 GB
• Qwen3-4B-Instruct-2507-Q3_K_S-3.34bpw.gguf1.7 GB
• Qwen3-4B-Instruct-2507-IQ3_S-3.31bpw.gguf1.7 GB
• Qwen3-4B-Instruct-2507-Q3_K_S-3.19bpw.gguf1.6 GB
• Qwen3-4B-Instruct-2507-IQ3_S-3.07bpw.gguf1.5 GB
• Qwen3-4B-Instruct-2507-Q3_K_S-2.95bpw.gguf1.5 GB
• Qwen3-4B-Instruct-2507-IQ3_S-2.94bpw.gguf1.5 GB
• Qwen3-4B-Instruct-2507-Q3_K_S-2.77bpw.gguf1.4 GB
• Qwen3-4B-Instruct-2507-IQ3_S-2.76bpw.gguf1.4 GB
• Qwen3-4B-Instruct-2507-IQ3_S-2.55bpw.gguf1.3 GB
• Qwen3-4B-Instruct-2507-IQ2_S-2.34bpw.gguf1.2 GB
• img/RTX5090.png778.3 KB
• img/Intel.png762.8 KB
• README.md5.4 KB
• .gitattributes3.0 KB

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו בתוך מוצרים סגורים בלי לשלם תמלוגים, בתנאי ששומרים על הצהרת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗