GPT
הוספת כלי
G

granite-4.0-h-tiny

קוד פתוח

ibm-graniteapache-2.02025-09-16

  • transformers
  • safetensors
  • granitemoehybrid
  • text-generation
  • language

מודל שפה קומפקטי שמכוון למשימות ארגוניות עם תמיכה בהקשר של 131 אלף טוקנים. הוא נותן מענה טוב לקריאות פונקציה וכתיבת קוד בלי לדרוש שרתים מפלצתיים.

  • 6.9Bפרמטרים
  • 131,072טוקנים בהקשר
  • 12.9 GBמשקל הקבצים
  • 53,115הורדות בחודש

מה זה

מדובר במודל הוראות מבוסס תערובת מומחים היברידית שנבנה מתוך גרסת בסיס ועבר יישור עם למידת חיזוק ומיזוג מודלים. הוא נועד לעבודה מדויקת עם כלים, חילוץ מידע, סיכום ומשימות קוד כמו השלמת קטעים באמצע טקסט.

במבחני ביצועים הוא עומד על 83 אחוזים בבדיקת HumanEval ורושם תוצאה של 68.65 ב־MMLU. אלה מספרים סבירים מאוד לגודל שלו, שמראים שליטה טובה בפייתון ותחביר, לצד ציון של מעל 81 אחוזים בעמידה בהנחיות קפדניות במבחן IFEval.

הוא מתוכנן לתפקד כסייען טכני שמסוגל להתמודד עם מסמכים ארוכים יחסית, אבל בבדיקות חשיבה מורכבת כמו GPQA הוא מגיע רק ל־32.59 אחוזים, מה שמבהיר את הגבולות שלו מול מודלים ענקיים.

מתאים ל

  • השלמת קוד מקומית

    הוא תומך ב־Fill-In-the-Middle ומגיע ל־83 אחוזים ב־HumanEval, מה שמתאים לתוסף פיתוח על כרטיס בודד.

  • סיכום מסמכים ארוכים

    חלון הקשר של 131 אלף טוקנים מאפשר לעבד קבצים גדולים בלי לחתוך אותם לחלקים קטנים מדי.

  • חיבור בסיסי ל־APIs

    הוא יודע לעבוד לפי סכמת הפונקציות של OpenAI, ומתאים לניתוב פקודות פשוטות לשירותים חיצוניים.

איפה זה נופל

החולשה הבולטת ביותר היא חוסר תמיכה רשמי בעברית. רשימת השפות כוללת אנגלית, ערבית, אירופאיות ומזרח אסייתיות בלבד, כך שלפני שימוש מקומי תצטרכו לאמן אותו בעצמכם או לבדוק היטב איך הוא מגיב לשפה.

בנוסף, במבחני קריאת פונקציות ב־BFCL v3 הוא השיג 57.65 אחוזים בלבד. המשמעות היא שבאוטומציות מורכבות שמסתמכות על כמה כלים חיצוניים במקביל, הוא עלול לטעות במבנה הפרמטרים ולייצר שגיאות בקוד.

שאלות
נפוצות

האם אפשר להשתמש בו למוצר בעברית?

עברית לא מופיעה ברשימת השפות הנתמכות של המודל. ייתכן שהוא יבין מילים מסוימות, אבל אי אפשר להסתמך עליו במוצר בלי אימון נוסף שתעשו בעצמכם.

כמה זיכרון כרטיס מסך נחוץ בשביל להריץ אותו?

הקבצים שוקלים כמעט 13 גיגה בייט בפורמט המקורי. כרטיס מסך עם 16 גיגה יספיק לטעינה ולטקסטים קצרים, אך להקשר ארוך מומלץ כרטיס של 24 גיגה בייט לפחות.

איך מריצים

המשקלים תופסים כמעט 13 גיגה בייט בדיוק של bfloat16, כך שתצטרכו כרטיס מסך אחד עם 16 או 24 גיגה בייט זיכרון כדי לטעון אותו ולהשאיר מקום להקשר. הרצה בסביבת פייתון דורשת את הספריות transformers ו־accelerate לצד PyTorch.

אם אתם לא מתכננים לנצל את ההקשר המלא או שאין לכם שרת ייעודי זמין, קריאה למודל מרוחק דרך ספק ענן תהיה זולה ופשוטה בהרבה מתחזוקת חומרה מקומית.

from transformers import pipeline

pipe = pipeline("text-generation", model="ibm-granite/granite-4.0-h-tiny")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 12.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

רישיון apache-2.0 הוא רישיון קוד פתוח מתירני מאוד. אתם רשאים להשתמש במודל לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצרים סגורים ולהפיץ אותו, כל עוד אתם שומרים על הודעות זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗