GPT
הוספת כלי
G

granite-3.1-2b-instruct

קוד פתוח

ibm-graniteapache-2.02024-12-06

  • transformers
  • safetensors
  • granite
  • text-generation
  • language

מודל הוראות קומפקטי עם 2.5 מיליארד פרמטרים וחלון הקשר חריג של 128K. מתאים למי שרוצה לעבד מסמכים ארוכים מקומית בלי לתפוס כרטיס מסך שלם.

  • 2.5Bפרמטרים
  • 131,072טוקנים בהקשר
  • 4.7 GBמשקל הקבצים
  • 30,934הורדות בחודש

מה זה

מדובר במודל צפוף של יבמ שאומן על 12 טריליון טוקנים, ועבר התאמה ספציפית לטיפול בטקסטים ארוכים כמו תמלולי פגישות, חילוץ מידע מרוכז ומשימות שליפה. השילוב בין גודל זעיר להקשר של מעל 130 אלף טוקנים הוא היתרון המרכזי כאן, והוא מאפשר להכניס ספרים שלמים לזיכרון בלי להזדקק לתשתית כבדה.

במדדי הביצועים רואים היטב את הפשרות. בלוח המבחנים של האגינג פייס הוא השיג ציון ממוצע של 60.79 בגרסה הראשונה ורק 21.06 בגרסה השנייה. במבחני מעקב אחרי הוראות הוא עומד יפה עם 62.86 ב־IFEval, אבל ביכולות חשיבה ומדע הוא מתרסק לציונים חד ספרתיים כמו 5.26 ב־GPQA ו־4.87 ב־MUSR. הוא מבין את הפורמט, פשוט קשה לו להסיק מסקנות מורכבות.

מתאים ל

  • סיכום תמלולי פגישות ארוכים

    חלון הקשר של 128K על מודל של 2.5B מאפשר לעכל שיחות מלאות על מחשב מקומי.

  • חילוץ ישויות ומבנים

    ציון טוב ב־IFEval הופך אותו ליעיל בהמרת מסמכים לפורמטים מובנים.

  • צינורות RAG פנימיים

    גודל קובץ של 4.7GB שמאפשר לשלוף מתוך עשרות עמודים בלי לשלם על קריאות רשת.

איפה זה נופל

המודל חלש מאוד במתמטיקה ובמשימות היגיון רב־שלביות, עם 11.33 במבחן MATH רמה חמש. הכרטיס מודה במפורש שרוב האימון נעשה באנגלית, ושאף על פי שיש תמיכה בעוד 11 שפות, הביצועים בהן נמוכים יותר ומומלץ להוסיף דוגמאות בתוך הפרומפט כדי לייצב את הפלט. עברית בכלל לא ברשימת השפות הנתמכות, ולכן לא כדאי לבנות עליו לעיבוד טקסטים מקומיים בלי כוונון ייעודי נוסף.

אותה משפחה

granite-3.1 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

granite-3.1-8b-instruct33,698

שאלות
נפוצות

האם הוא מסוגל לעבוד בעברית בצורה שוטפת?

הכרטיס מפרט תמיכה ב־12 שפות בלבד ועברית אינה אחת מהן. הוא אומן בעיקר באנגלית, כך שכל שימוש בעברית ידרוש אימון המשך או הוספת דוגמאות בפרומפט.

מה החומרה המינימלית הנדרשת להרצת המודל?

המשקל בקובצי bfloat16 עומד על 4.7 גיגה בייט. כרטיס מסך בודד עם 6 או 8 גיגה זיכרון יספיק לטעינה, אך הקשרים מלאים ידרשו זיכרון נוסף.

מתי כדאי לבחור בו על פני מודלים מתחרים?

היתרון שלו הוא היכולת לבלוע מסמכים עצומים בחומרה זולה. אם המשימה שלכם מבוססת על הבנת הנקרא ולא על פתרון בעיות לוגיות מורכבות, הוא בחירה מתאימה.

איך מריצים

המשקל הכולל של הקבצים עומד על 4.7 גיגה בייט בדיוק של bfloat16, כך שאפשר לטעון אותו בקלות לתוך כרטיס מסך ביתי עם 6 עד 8 גיגה זיכרון בעזרת ספריית transformers של פייתון. המודל מתבסס על ארכיטקטורת Granite ומחייב התקנה של torch, accelerate ו־transformers מעודכנים.

אם אתם צריכים רק מענה לשאלות קצרות או פתרון בעיות היגיון, אין סיבה להתעקש על הרצה מקומית שלו. מודלים גדולים שזמינים דרך שרתי ענן יתנו תוצאות מדויקות פי כמה, אבל אם אתם סורקים מאות קובצי לוג או מסמכים פרטיים שחייבים להישאר על הברזלים שלכם, ההרצה העצמית פותרת את הבעיה בלי עלויות שרת גבוהות.

from transformers import pipeline

pipe = pipeline("text-generation", model="ibm-granite/granite-3.1-2b-instruct")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 4.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0 מלא. אפשר להשתמש בו ליישומים מסחריים, לשנות אותו, לאמן עליו מחדש ולהפיץ אותו בתוך מוצר סגור בלי לשלם תמלוגים, כל עוד שומרים על הודעות זכויות היוצרים המקוריות.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗