granite-4.0-micro

מה זה

מדובר במודל הוראות קומפקטי שמבוסס על שילוב מומחים היברידי עם 3.4 מיליארד פרמטרים. המטרה המרכזית שלו היא התמודדות עם משימות ארגוניות קלאסיות כמו סיכום טקסטים ארוכים, הפעלת כלים חיצוניים דרך סכמת הפונקציות המוכרת של פייתון, ומענה על שאלות מבוססות מסמכים.

במבחני הביצועים הוא מציג תוצאות מעניינות ביחס למשקל שלו. במבחן IFEval שבודק היצמדות להוראות מחמירות הוא מגיע לציון ממוצע של 82.31, ובמבחן הקוד HumanEval הוא רושם 80 נקודות. זה מראה יכולת טובה מאוד בפענוח הנחיות מדויקות, אם כי במבחני חשיבה מורכבים יותר כמו GPQA הוא נעצר סביב 30.14, שזה הגבול הטבעי של מודלים בגודל כזה.

מתאים ל

• סוכן חכם לקריאת API

  תמיכה מובנית בהגדרת פונקציות וביצועים של כמעט 60 נקודות ב־BFCL v3.

• סיכום מסמכים ארוכים באנגלית

  חלון הקשר של 131,072 טוקנים מאפשר להזין תיקי מידע שלמים בלי לחתוך טקסט.

• השלמת קוד מקומית

  יכולת Fill-In-the-Middle וציון 80 ב־HumanEval מתאימים לעבודה בתוך עורך קוד.

איפה זה נופל

החיסרון המרכזי לקורא הישראלי הוא היעדר עברית ברשימת השפות הנתמכות. המודל תומך ב־12 שפות בלבד, ביניהן אנגלית, ערבית, צרפתית וגרמנית, ולכן כל שימוש בעברית ידרוש אימון נוסף.

מעבר לכך, במבחני מתמטיקה רב לשוניים כמו MGSM הוא צולל לציון של 28.56, ובמבחן ArenaHard הוא מקבל 25.84 בלבד. לא הייתי בונה עליו עבור שרשראות היגיון סבוכות או פתרון בעיות מתמטיות קשות בלי מודל גדול שיפקח עליו.

אותה משפחה

granite-4.0-micro יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

הקבצים שוקלים 6.3 גיגה בייט בדיוק של bfloat16, כך שאפשר להריץ אותו בקלות על כרטיס מסך בודד עם 8 עד 12 גיגה בייט זיכרון. טוענים אותו דרך ספריית transformers הרגילה ופייתון, בלי צורך בתשתיות ענן מנופחות.

אם אתם צריכים רק שאילתות בודדות או בדיקות מזדמנות, עדיף לפנות ל־API חיצוני ולא להתעסק עם שרתים מקומיים. לעומת זאת, כשיש זרימת מידע רציפה או צורך בעיבוד מקומי פרטי וזול, ההרצה העצמית חוסכת כסף באופן מיידי.

from transformers import pipeline

pipe = pipeline("text-generation", model="ibm-granite/granite-4.0-micro")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 6.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors4.9 GB
• model-00002-of-00002.safetensors1.9 GB
• tokenizer.json7.2 MB
• vocab.json1.6 MB
• merges.txt916.6 KB
• README.md35.0 KB
• model.safetensors.index.json27.6 KB
• tokenizer_config.json17.7 KB
• model.sig10.4 KB
• chat_template.jinja6.4 KB
• config.json1.9 KB
• .gitattributes1.5 KB
• special_tokens_map.json579 B
• generation_config.json147 B

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0 המלא. זה אומר שמותר להשתמש בו לצרכים מסחריים, לשנות את המשקלים, לשלב אותו בקוד סגור ולהפיץ אותו ללקוחות, בתנאי ששומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗