GPT
הוספת כלי
G

granite-4.1-30b

קוד פתוח

ibm-graniteapache-2.02026-04-06

  • transformers
  • safetensors
  • granite
  • text-generation
  • language

מודל הוראות פתוח של יבמ עם 29 מיליארד פרמטרים וחלון הקשר ענק. הוא פונה למי שצריך הרצה מקומית, הפעלת כלים ואוטומציות קוד ברישיון מסחרי נקי.

  • 29Bפרמטרים
  • 131,072טוקנים בהקשר
  • 53.8 GBמשקל הקבצים
  • 531,761הורדות בחודש

מה זה

מדובר במודל צפוף שעבר אימון ייעודי להוראות והפעלת פונקציות, עם חלון עבודה של 131,072 טוקנים. הוא מספק מענה לחברות שרוצות מודל שפה בגודל בינוני לניתוח טקסטים ארוכים, קוד ומערכות סוכנים, בלי לצאת לענן של ספק סגור.

במבחני ביצועים הוא מציג שדרוג ניכר לעומת גרסאות ה־3B וה־8B בסדרה, עם 80.16 במבחן MMLU וציון של 88.41 ב־HumanEval. עם זאת, במבחני קוד מורכבים יותר כמו MBPP הוא קיבל 85.45, שזה דווקא מעט נמוך מגרסת ה־8B שקיבלה 87.30, מה שמראה שתוספת הפרמטרים לא מבטיחה זינוק בכל משימה.

מתאים ל

  • הפעלת פונקציות וסוכנים

    מיועד למבנה של OpenAI Tool Calling והשיג 73.68 במבחן BFCL v3.

  • השלמת קוד Fill In Middle

    תומך בהשלמה באמצע קובץ קוד ומציג 85.37 במבחן HumanEval+.

  • ניתוח מסמכים ארוכים

    חלון של 131 אלף טוקנים מאפשר לסכם חוזים ועשרות קובצי לוג בבת אחת.

איפה זה נופל

הבעיה הבולטת ביותר לקורא המקומי היא היעדר עברית. רשימת השפות הרשמית כוללת אנגלית, ערבית, אירופאיות ומזרח אסיה, אבל עברית לא נתמכת רשמית ותדרוש אימון נוסף. בנוסף, במבחן העובדות SimpleQA המודל קיבל 6.81 בלבד, מה שמעיד על נטייה להזיות בשאלות ידע ספציפיות, ובמבחן החשבון GSM Symbolic הוא נפל ל־75.70 לעומת 83.70 בגרסת ה־8B.

אותה משפחה

granite-4.1 יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

granite-4.1-3b232,845 granite-4.1-8b212,265

שאלות
נפוצות

האם הוא מבין ועונה בעברית בצורה טובה?

עברית לא מופיעה ברשימת השפות הנתמכות של יבמ. הוא כנראה יזהה מילים בודדות, אבל בלי אימון מכוון הוא ייכשל בניסוח, בדקדוק ובהבנת הקשר.

כמה כוח מחשוב נחוץ להרצה בייצור?

המשקל הגולמי הוא מעל 53 גיגהבייט. בייצור תצטרכו שרת עם לפחות שני כרטיסי 48GB או כרטיס A100 של 80GB כדי לשמור על קצב תגובה סביר עם חלון הקשר מלא.

איך מריצים

כדי להריץ אותו בדיוק המקורי של bfloat16 תצטרכו לפחות 60 עד 70 גיגהבייט של זיכרון וידאו, מה שמחייב כרטיסים מקצועיים כמו A100 או שילוב של כמה מאיצים. הקבצים עצמם שוקלים 53.8 גיגהבייט ודורשים הורדה כבדה של 24 קבצים.

מי שאין לו תשתית כזו במשרד או בשרת פרטי יצטרך לבצע קוונטיזציה ל־4 או 8 ביט כדי לדחוס אותו לחומרה צרכנית. אם הצוות שלכם לא מחויב ברגולציה להשאיר את המידע על הברזלים, להרים שרת ייעודי למודל כזה יעלה יותר מפשוט לצרוך API חיצוני.

from transformers import pipeline

pipe = pipeline("text-generation", model="ibm-granite/granite-4.1-30b")
print(pipe("שלום"))

הקבצים

24 קבצים במאגר, 53.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל משוחרר תחת רישיון Apache 2.0 מלא. זה אומר שמותר להשתמש בו לצרכים מסחריים, לשנות אותו, לאמן אותו מחדש ולשלב אותו במוצרים סגורים בלי לשלם תמלוגים, כל עוד שומרים על הודעת הרישיון המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗