granite-4.0-350m
קוד פתוחibm-graniteapache-2.02025-10-07
מודל שפה זעיר של 352 מיליון פרמטרים שמיועד לרוץ מקומית על מכשירי קצה. הוא נותן מענה זול ומהיר למשימות מיון וחילוץ נתונים בלי לפתוח קריאות רשת.
- 352Mפרמטרים
- 32,768טוקנים בהקשר
- 681 MBמשקל הקבצים
- 18,490הורדות בחודש
מה זה
מדובר במודל הוראות קטן במיוחד שפותח על ידי יבמ. הוא נבנה על ארכיטקטורת שנאי צפופה ומכיל תמיכה מובנית בהפעלת כלים לפי המבנה של OpenAI, השלמת קוד באמצע קובץ, וחלון הקשר רחב שמגיע ל־32,768 טוקנים. השילוב בין גודל זעיר לבין יכולת קריאת פונקציות מייעד אותו בעיקר למשימות נקודתיות של ניתוב ועיבוד טקסט ישירות על המכשיר.
תוצאות המדידה מציגות תמונה ברורה לגבי היכולות שלו ביחס למשקל. במעקב אחר הוראות ב־IFEval הוא מגיע לציון ממוצע של 55.4, שזה נתון שמיש למשימות מוגדרות, אבל במבחני ידע כללי והיגיון הוא מתקשה מאוד. ב־MMLU הוא עומד על 35.01 וב־MMLU-Pro על 12.13 בלבד. במתמטיקה מורכבת של Minerva Math הוא מגרד 13.04. כלומר, לא כדאי לצפות ממנו להבנה עמוקה או לפתרון בעיות סבוכות, אלא לביצוע הוראות פשוטות בפורמט קשיח.
מתאים ל
- הפעלת כלים וניתוב פקודות
הוא תומך ישירות בפורמט הפונקציות של OpenAI ומסוגל לנתב בקשות מקומית בלי לערב שרת חיצוני.
- חילוץ וסיווג טקסט מקומי
הגודל הזעיר מאפשר לו לרוץ על מכשירי קצה ולמיין מסמכים או לחלץ מתוכם שדות מוגדרים במהירות גבוהה.
- השלמת קוד בתוך העורך
הוא אומן על משימות השלמה באמצע קטע קוד, מה שמתאים לתוספי פיתוח מקומיים שאינם דורשים משאבים כבדים.
איפה זה נופל
החולשה העיקרית היא יכולת הסקת מסקנות חלשה מאוד. עם ציון של 8.45 במתמטיקה של DeepMind ו־11.14 בלבד ב־BigCodeBench, הוא ייכשל בניתוח לוגי או בכתיבת קוד של ממש מעבר להשלמות קצרות. בנוסף, עברית כלל אינה נכללת ברשימת 12 השפות הנתמכות שהוגדרו עבורו, שכוללת שפות כמו אנגלית, ערבית, ספרדית וגרמנית. אם תנסו לעבוד איתו בעברית ללא אימון ייעודי נוסף, התוצאות יהיו מקוטעות ולא אמינות.
אותה משפחה
granite-4.0 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם המודל תומך בעיבוד טקסטים בעברית?
המודל לא מצהיר על תמיכה בעברית. רשימת השפות הרשמית כוללת אנגלית, גרמנית, ספרדית, צרפתית, יפנית, פורטוגזית, ערבית, צ'כית, איטלקית, קוריאנית, הולנדית וסינית. בשביל עברית תצטרכו לבצע אימון המשך בעצמכם.
האם אפשר להשתמש בו לסוכנים אוטונומיים?
הוא מתאים רק לצעד הראשון של קריאה לפונקציה מוגדרת היטב. בגלל ציונים נמוכים במבחני חשיבה כמו MMLU-Pro ומתמטיקה, הוא לא יחזיק שרשרת החלטות מורכבת ועלול לטעות בלוגיקה.
איך מריצים
המשקל הכולל של הקבצים עומד על 681 מגה־בייט בלבד בדיוק של bfloat16. המשמעות היא שאין צורך בכרטיס מסך ייעודי של שרתים כדי להפעיל אותו, ואפשר להריץ אותו ישירות על מעבד של מחשב נייד, טלפון או מעבד גרפי פשוט באמצעות ספריית transformers ו־torch.
אם אתם צריכים רק לסווג טקסטים או לחלץ ישויות בתוך אפליקציה מקומית בלי תלות ברשת, הרצה עצמית כאן היא הבחירה הטבעית כי המשאבים אפסיים. לעומת זאת, אם המטרה היא מענה על שאלות ידע מורכבות או ניתוח קוד עמוק, שום חיסכון בחומרה לא יעזור ועדיף לפנות למודל גדול יותר דרך API.
from transformers import pipeline
pipe = pipeline("text-generation", model="ibm-granite/granite-4.0-350m")
print(pipe("שלום"))הקבצים
12 קבצים במאגר, 681 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הפרויקט מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הקוד והמשקלים, והפצה מחדש בתוך מוצרים סגורים. התנאי העיקרי הוא שמירה על הצהרת זכויות היוצרים של המקור ומתן עותק של הרישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים