granite-3.1-8b-instruct

מה זה

מדובר במודל צפוף של 8.2 מיליארד פרמטרים שאומן על 12 טריליון טוקנים, ועבר התאמה ייעודית למשימות הקשר ארוך באמצעות נתונים סינתטיים וכוונון בהוראות. הארכיטקטורה שלו סטנדרטית לעולם הנוכחי, עם ארבעים שכבות ומנגנון Grouped-Query Attention שחוסך זיכרון בזמן ריצה. החוזק המרכזי שלו על הנייר הוא השילוב בין נפח שמתאים לחומרה צנועה יחסית לבין יכולת לקרוא טקסטים בהיקף של ספר שלם.

במבחני הביצועים הוא מוביל בצורה ברורה על פני האחים הקטנים שלו מסדרת גרניט, כמו גרסת השני מיליארד או דגמי ה־MoE, עם ממוצע של 71.31 בלוח התוצאות הישן ו־30.55 בחדש. המבחן החזק שלו הוא IFEval עם ציון של 72.08, מה שמראה שהוא מבין ועוקב טוב אחרי הוראות ומגבלות פלט מורכבות. מצד שני, במבחני חשיבה כבדים כמו GPQA הוא נעצר על 8.28 בלבד, כך שלא מדובר במתמטיקאי גאון אלא בפועל שחור שמבצע הנחיות מוגדרות.

מתאים ל

• תמצות ישיבות ומסמכים ארוכים

  חלון ה־128K מאפשר להזין פרוטוקולים שלמים באנגלית ולחלץ החלטות ומשימות לפי תבנית קבועה.

• אוטומציה וקריאות לפונקציות

  התוצאה הגבוהה במעקב אחר הוראות מאפשרת לחבר אותו לסוכני תוכנה וקריאות API מובנות.

• שליפת מידע RAG ארגוני

  מתאים לשילוב עם בסיסי ידע שדורשים הקשר רחב ברישיון מסחרי נקי שלא כובל את החברה.

איפה זה נופל

החיסרון הכי כואב למפתח ישראלי הוא שפה. המודל תומך רשמית ב־12 שפות בלבד, כולל אנגלית, ערבית, צרפתית וגרמנית, אבל עברית לא נמצאת ברשימה. הכרטיס מודה בעצמו שביצועי שפה שאינה אנגלית נמוכים משמעותית ודורשים few-shot כדי לא להתפזר. חוץ מזה, המודל חלש מאוד במתמטיקה מתקדמת ופתרון בעיות מורכבות, עם 21.68 בלבד ב־MATH Level 5.

אותה משפחה

granite-3.1 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקלים דורשים 15.2 ג'יגה בייט בפורמט bfloat16, כך שכרטיס מסך בודד עם 24 ג'יגה בייט זיכרון, כמו RTX 3090 או RTX 4090, יספיק לטעינה בסיסית. הבעיה מתחילה כשרוצים לנצל את מלוא חלון ההקשר של 128 אלף טוקנים. במצב כזה מטמון ה־KV תופס זיכרון עצום, ואתם תצטרכו לדחוס את המודל ל־int4 או להחזיק כרטיס מקצועי יותר כדי לא לחטוף שגיאת זיכרון.

ההפעלה נעשית ישירות דרך ספריית transformers ודורשת התקנה של torch ו־accelerate. אם כל מה שאתם צריכים זה שאילתות קצרות, להחזיק שרת ייעודי עבורו זה מיותר לגמרי, ומשתלם לקרוא לו דרך ספק צד שלישי רק לפי שימוש.

from transformers import pipeline

pipe = pipeline("text-generation", model="ibm-granite/granite-3.1-8b-instruct")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 15.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors5.0 GB
• model-00004-of-00004.safetensors1.4 GB
• tokenizer.json3.5 MB
• vocab.json777.0 KB
• merges.txt441.8 KB
• model.safetensors.index.json29.8 KB
• README.md20.5 KB
• tokenizer_config.json8.1 KB
• .gitattributes1.5 KB
• config.json790 B
• special_tokens_map.json701 B
• generation_config.json132 B
• added_tokens.json87 B

הרישיון

המודל משוחרר תחת רישיון Apache 2.0 מלא. אפשר להשתמש בו למוצרים מסחריים, לשנות את המשקלים, לאמן עליו הלאה ולמכור גישה אליו בלי לשלם תמלוגים לאף אחד. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי בקוד או בהפצה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗