granite-4.1-8b-GGUF

קוד פתוח

unslothapache-2.02026-04-30

transformers
gguf
language
unsloth
granite-4.1

גרסה מכווצת בפורמט GGUF של מודל ההוראות מבית IBM, שמביאה ביצועי קוד והפעלת כלים חזקים למחשב מקומי. הבחירה בו מתאימה למי שבונה סוכנים אוטומטיים וזקוק לרישיון מסחרי פתוח ונקי.

123 GBמשקל הקבצים
12,885הורדות בחודש
51לייקים

מה זה

מדובר במודל שפת קוד פתוח עם 8 מיליארד פרמטרים שפותח על ידי יבמ, ועבר כווץ לפורמט GGUF על ידי צוות Unsloth. הוא עבר כוונון ייעודי למעקב אחר הוראות, שיחה, והפעלת פונקציות חיצוניות לפי התחביר של OpenAI. היעד המרכזי שלו הוא שילוב במערכות ארגוניות ובסוכנים שצריכים להתממשק לממשקי תכנות חיצוניים.

במבחני הביצועים הוא מציג תוצאות מפתיעות לגודלו בתחום התכנות, עם ציון של 85.37 במבחן HumanEval וציון של 87.30 ב־MBPP, מספרים שלעתים מתחרים במודלים כבדים בהרבה. גם בתחום הפעלת הכלים הוא עומד על 68.27 במבחן BFCL v3, מה שמעיד על הבנה טובה של מבני נתונים וקריאות API. יחד עם זאת, במבחני ידע כללי עובדתי הוא משיג רק 4.82 ב־SimpleQA, כך שאין טעם להסתמך עליו כמקור ידע אנציקלופדי.

מתאים ל

סוכן חכם להפעלת כלים
הוא אומן על סכמת הפונקציות של OpenAI ומשיג ציון של 68.27 ב־BFCL v3, מה שמבטיח שליפת ארגומנטים מדויקת.
עוזר מקומי לכתיבת קוד
עם ציון 85.37 ב־HumanEval, הוא מייצר קוד ומבצע השלמות ברמה גבוהה ישירות על מחשב הפיתוח.
מערכת RAG באנגלית וערבית
הוא מצטיין במעקב אחר הנחיות אך מתקשה בידע עובדתי עצמאי, לכן צירוף מסמכים חיצוניים מביא ממנו ביצועים מעולים.

איפה זה נופל

החיסרון הברור ביותר של המודל הוא היעדר מוחלט של תמיכה רשמית בעברית. רשימת השפות כוללת אנגלית, ערבית, גרמנית, ספרדית, צרפתית, יפנית, פורטוגזית, צ'כית, איטלקית, קוריאנית, הולנדית וסינית בלבד, ולכן טקסטים בעברית ידרשו כוונון נוסף או שיתקבלו ברמה ירודה. בנוסף, המודל חלש מאוד בשליפת עובדות מדויקות מהזיכרון הפנימי כפי שמעיד הציון ב־SimpleQA, כך שאי אפשר לבנות עליו למתן תשובות ישירות בלי לחבר אותו למאגר מסמכים חיצוני.

שאלות
נפוצות

האם המודל עובד טוב בעברית?

הכרטיס לא מציין תמיכה בעברית, והיא נעדרת מרשימת השפות הנתמכות שכוללת שפות כמו אנגלית וערבית. שימוש בעברית כנראה יוביל לשגיאות ולפלט מקוטע אלא אם תבצעו לו אימון ייעודי.

למה הדף מציג 123 גיגה בייט אם זה מודל 8B?

הנפח הכולל משקף 24 קבצים שונים של כימוסים שונים באותו מאגר. אתם צריכים להוריד רק קובץ GGUF יחיד ברמת הדיוק שמתאימה לחומרה שלכם, ששוקל בדרך כלל בין 4 ל־9 גיגה בייט.

איך מריצים

כדי להריץ אותו דרך llama.cpp, חובה להשתמש בדגל jinja כפי שמציינים Unsloth, כדי שמבנה השיחה והפעלת הכלים יעבדו בלי שגיאות. הדף כולל 24 קבצים בנפח כולל של 123 גיגה בייט, שמכילים מגוון רמות כימוס מבית Unsloth Dynamic 2.0, אך לשימוש יומיומי מורידים רק קובץ בודד בהתאם לזיכרון הפנוי.

גרסת 8B מכוונת לרוץ בקלות על גבי כרטיס מסך בודד עם 8 עד 16 גיגה בייט של זיכרון וידאו, או על מעבד מודרני עם מספיק זיכרון מערכת. אם המטרה היא להריץ שאילתות קצרות ונדירות ללא דרישות פרטיות מקומיות, שימוש בשירות ענן יחסוך את כאב הראש של הגדרת הזיכרון והתבניות.

ollama run hf.co/unsloth/granite-4.1-8b-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

24 קבצים במאגר, 123 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0 מלא. אפשר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים סגורים ללא תשלום תמלוגים. התנאי היחיד הוא שמירה על הודעות זכויות היוצרים וצירוף עותק הרישיון המקורי.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗