GPT
הוספת כלי
G

granite-4.0-h-350m

קוד פתוח

ibm-graniteapache-2.02025-10-07

  • transformers
  • safetensors
  • granitemoehybrid
  • text-generation
  • language

מודל שפה קומפקטי שמכוון להרצה מקומית על מעבדים פשוטים. הוא מתאים לניתוב פקודות וקריאות לפונקציות בלי לגעת בשרתים מרוחקים.

  • 340Mפרמטרים
  • 32,768טוקנים בהקשר
  • 658 MBמשקל הקבצים
  • 4,688הורדות בחודש

מה זה

מדובר במודל הוראות זעיר עם 340 מיליון פרמטרים שמשלב שכבות טרנספורמר יחד עם Mamba2. הוא מגיע עם חלון הקשר של 32,768 טוקנים, נתון חריג לגודל הזה שמאפשר להזין לו מסמכים שלמים למשימות RAG או מיצוי מידע מקומי.

התוצאות במבחנים מראות פער ברור בין התחומים. בביצוע הוראות הוא עומד על 61.63 במבחן IFEval, ובקריאה לפונקציות הוא מגיע ל־43.32 במבחן BFCL v3, תוצאות שמאפשרות לו לשמש מנוע לפקודות מוגדרות היטב. לעומת זאת, במבחני מתמטיקה כמו Minerva Math הוא מתרסק ל־5.76, כך שאין מה לבנות עליו לחשיבה מורכבת.

הוא מאומן על 12 שפות כולל ערבית, אנגלית, צרפתית וספרדית. עברית אינה מופיעה ברשימת השפות הנתמכות, ולכן למשימות מקומיות בשפה העברית תידרשו לבצע לו אימון המשך בעצמכם.

מתאים ל

  • קריאה לפונקציות וכלים

    מתאים לניתוב פקודות משתמש ל־API חיצוני על מכשיר הקצה בזכות ציון של 43.32 ב־BFCL v3.

  • סיווג וחילוץ מידע מקומי

    רץ ישירות בזיכרון של מחשב פשוט ללא GPU ומחלץ נתונים מובנים מתוך טקסטים באנגלית.

  • בסיס לאימון ייעודי

    משקלו הקל מאפשר לבצע כוונון עדין למשימות צרות וספציפיות על חומרת אימון ביתית וזולה.

איפה זה נופל

הגודל הזעיר גובה מחיר כבד ביכולות הסקת מסקנות. הוא קיבל 14.38 בלבד ב־MMLU-Pro ופחות מ־12 אחוז ב־BigCodeBench, מה שאומר שהוא ייכשל לחלוטין בכתיבת קוד מורכב או בפתרון בעיות היגיון רב-שלביות. בנוסף, הוא אינו תומך בעברית מהקופסה, וניסיון להשתמש בו לטקסט חופשי בשפה זו יוביל לפלט משובש.

אותה משפחה

granite-4.0-h יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

granite-4.0-h-1b3,860

שאלות
נפוצות

האם המודל תומך בעברית?

לא. רשימת השפות הרשמית כוללת 12 שפות ובהן אנגלית, ערבית, ספרדית וצרפתית, אך עברית אינה נכללת בהן. כדי לעבוד איתו בעברית תצטרכו לאמן אותו מחדש על דאטה מקומי.

האם צריך מחשב חזק כדי להריץ אותו?

ממש לא. הקבצים שוקלים כ־658 מגה-בייט בלבד, כך שהמודל נכנס בקלות לזיכרון של כל מחשב משרדי רגיל או טלפון ומייצר פלט במהירות על גבי מעבד מרכזי רגיל.

האם הוא מתאים לכתיבת קוד?

רק להשלמות קצרות ופשוטות. המודל תומך בהשלמת קוד באמצע שורה ומגיע ל־49 במבחן MBPP, אך במשימות מורכבות יותר כמו BigCodeBench הוא משיג רק 11.23 ולא יחליף מודלים גדולים.

איך מריצים

המודל תופס 658 מגה-בייט בלבד בדיוק bfloat16. כל מעבד מודרני במחשב נייד, טלפון או שרת זול מריץ אותו בקלות דרך ספריית transformers בלי צורך בכרטיס מסך ייעודי.

אם כל מה שאתם צריכים זה מיון טקסטים, חילוץ ישויות או הפעלת כלים במערכת סגורה, הרצה מקומית שלו חוסכת עלויות שרתים ומבטלת תלות ברשת. אם אתם זקוקים לניסוח תשובות עשירות או פתרון בעיות מורכבות, פנייה ל־API חיצוני של מודל גדול תהיה עדיפה בהרבה.

from transformers import pipeline

pipe = pipeline("text-generation", model="ibm-granite/granite-4.0-h-350m")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 658 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל משוחרר תחת רישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את המשקלים, לאמן אותו מחדש ולהפיץ אותו בתוך מוצר סגור, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗