granite-4.0-h-1b
קוד פתוחibm-graniteapache-2.02025-10-07
גרסה קלה של 1.5 מיליארד פרמטרים שמתאימה להרצה על מכשירי קצה. היא משלבת חלון הקשר ענקי עם יכולות מעקב אחרי הוראות וקריאה לפונקציות.
- 1.5Bפרמטרים
- 131,072טוקנים בהקשר
- 2.7 GBמשקל הקבצים
- 3,860הורדות בחודש
מה זה
מדובר במודל שפותח בידי IBM ועבר כוונון ייעודי מגרסת הבסיס באמצעות שילוב של נתוני הוראות פתוחים, מידע סינתטי ומיזוג מודלים. המבנה שלו מבוסס על שילוב היברידי שכולל שכבות Mamba2 וארכיטקטורת שנאי דחוסה, מה שמאפשר לו לתמוך בחלון הקשר חריג של 131,072 טוקנים בגודל כזה.
במבחני ביצועים הוא עומד על 59.74 ב־MMLU ומציג תוצאה טובה של 82.37 ב־IFEval במעקב קפדני אחר הוראות. בתחום הקוד הוא מגיע ל־73 ב־HumanEval, שזה נתון יפה למודל של פחות משלושה גיגה בייט, אם כי הוא לא מיועד להחליף מודלי ענק במשימות תכנות מורכבות.
מתאים ל
- הפעלת כלים ו־APIs
תוצאה של 50.21 ב־BFCL v3 מאפשרת לו לחבר פקודות משתמש לשדות JSON מסודרים.
- השלמת קוד מקומית
הוא תומך בהשלמה באמצע מקטע ורץ מהר על חומרה מקומית בתוך סביבת הפיתוח.
- חילוץ מידע וסיכום
חלון של מעל 130 אלף טוקנים מאפשר להזין תיעוד טכני נרחב לצורך שליפה ממוקדת.
איפה זה נופל
החולשה העיקרית שלו מופיעה כשמאתגרים אותו במתמטיקה מורכבת או משימות רב לשוניות. במבחן MGSM הוא מקבל ציון נמוך של 27.52, ובמתמטיקה של DeepMind הוא עוצר על 34.98 בלבד. נוסף לכך, עברית אינה מופיעה ברשימת השפות הנתמכות בכרטיס, שכוללת שפות כמו אנגלית, גרמנית וערבית, כך שלא הייתי בונה עליו לעיבוד טקסט עברי בלי אימון נוסף.
אותה משפחה
granite-4.0-h יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם אפשר להשתמש בו ליישומים בעברית?
עברית אינה ברשימת השפות הרשמיות של IBM, הכוללת שתים עשרה שפות בלבד. המודל עלול לפלוט שגיאות או להיתקע בניסוחים עילגים. לשימוש מקומי בשפה שלנו תצטרכו לבצע fine-tuning עצמאי.
איזה כרטיס מסך נחוץ להרצה שוטפת?
המודל שוקל 2.7 גיגה בייט בלבד. כרטיס מסך בסיסי עם 6 עד 8 גיגה זיכרון יריץ אותו בקלות יחד עם ההקשר הרחב שלו. אפשר להריץ אותו גם ישירות על מעבד מרכזי במידת הצורך.
איך מריצים
המשקל הכולל של הקבצים עומד על 2.7 גיגה בייט בפורמט bfloat16, כך שאין צורך במערך שרתים מנופח. אפשר לטעון אותו ישירות דרך ספריית transformers וסביבת PyTorch על מחשב נייד מודרני, כרטיס גרפי ביתי פשוט או מעבד סביר בלי לגעת בקוונטיזציה כבדה.
אם אתם צריכים רק שאילתות בודדות פעם ביום, שירות ענן חיצוני יחסוך את התחזוקה. אבל כשנדרשת פרטיות מלאה, עבודה ללא רשת או שימוש מתמיד בקריאות קטנות, ההרצה המקומית פשוטה וזולה בהרבה.
from transformers import pipeline
pipe = pipeline("text-generation", model="ibm-granite/granite-4.0-h-1b")
print(pipe("שלום"))הקבצים
10 קבצים במאגר, 2.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הוא מופץ תחת רישיון apache-2.0. אפשר להשתמש בו לצרכים מסחריים, לשנות את המשקלים, לשלב אותו במוצרים סגורים ולהפיץ אותם, כל עוד שומרים על תנאי הרישיון המקוריים ומתן הקרדיט הנדרש.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים