granite-4.1-8b

מה זה

מדובר במודל שפה צפוף שעבר אימון ייעודי למילוי הוראות, שיחה והפעלת כלים חיצוניים דרך הסכמה של OpenAI. במקום לנסות לפתור הכל, הדגש כאן הוא על משימות הנדסיות, חילוץ מידע, RAG, והשלמת קוד במבנה של Fill-In-the-Middle.

במדדי הקוד והמתמטיקה הוא מציג מספרים מרשימים לגודל שלו, כמו 85.37 אחוז ב־HumanEval וציון של 92.49 ב־GSM8K. עם זאת, במבחני תכנות מורכבים כמו BigCodeBench הוא עומד על 35 אחוז בלבד, מה שמראה שהוא מתמודד מצוין עם פונקציות מוגדרות אבל מתקשה לבנות מערכות תוכנה שלמות ללא הכוונה מדויקת.

מתאים ל

• סוכנים מבוססי כלים

  אימון ייעודי לפורמט הפונקציות של OpenAI עם ציון 68.27 במדד BFCL v3.

• השלמת קוד מקומית

  תמיכה מובנית ב־FIM שמאפשרת השלמת מקטעי קוד באמצע קובץ קיים.

• מערכות RAG בארגונים

  חלון הקשר גדול ורישיון חופשי שמתאימים לתחקור מסמכים פנימיים.

איפה זה נופל

הבעיה הבולטת ביותר היא עברית. רשימת השפות הנתמכות כוללת אנגלית, ערבית, שפות אירופיות ואסייתיות, אך עברית כלל אינה נתמכת רשמית וללא אימון נוסף תקבלו תוצאות חלשות מאוד.

בנוסף, המודל קיבל ציון נמוך של 4.82 בלבד במבחן העובדות SimpleQA. הנתון הזה מעיד על נטייה להמציא עובדות כשמבקשים ממנו ידע כללי ישיר, כך שאסור להסתמך עליו כמאגר ידע עצמאי ללא מנגנון אימות או שליפת מקורות מסודרת.

אותה משפחה

granite-4.1 יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו בדיוק המקורי של bfloat16 תצטרכו לפחות 20 גיגה בייט של זיכרון גרפי, כלומר כרטיס מקצועי אחד או סביבת ענן ייעודית, משום שקבצי המשקולות תופסים 16.4 גיגה בייט לבדם. אם תרצו לנצל את מלוא חלון ההקשר, צריכת הזיכרון ל־KV Cache תדרוש חומרה כבדה בהרבה או קוונטיזציה.

ההרצה מתבצעת ישירות דרך ספריית transformers ודורשת התקנה של torch ו־accelerate. אם אין לכם שרת עם כרטיס גרפי מתאים שרץ ברציפות, קריאה ל־API חיצוני תהיה זולה ופשוטה משמעותית מתחזוקת תשתית מקומית כזו.

from transformers import pipeline

pipe = pipeline("text-generation", model="ibm-granite/granite-4.1-8b")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 16.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors4.8 GB
• model-00004-of-00004.safetensors2.8 GB
• tokenizer.json7.2 MB
• vocab.json1.6 MB
• merges.txt916.6 KB
• README.md32.3 KB
• model.safetensors.index.json29.9 KB
• tokenizer_config.json17.7 KB
• model.sig11.1 KB
• chat_template.jinja6.1 KB
• .gitattributes1.5 KB
• config.json803 B
• special_tokens_map.json579 B
• generation_config.json147 B

הרישיון

רישיון apache-2.0 מאפשר שימוש מסחרי מלא ללא תשלום תמלוגים. אתם רשאים לשנות את המשקולות, לאמן אותן מחדש, לשלב אותן בתוך מוצר סגור ולהפיץ אותו, כל עוד שומרים על תנאי הקרדיט והודעת הרישיון המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗