granite-4.1-3b

מה זה

מדובר במודל שפת הוראות דחוס עם 3.4 מיליארד פרמטרים שפותח על ידי יבמ. הייחוד הבולט פה הוא חלון הקשר של 131,072 טוקנים, תכונה שבדרך כלל שמורה למודלים כבדים בהרבה. הוא עבר כוונון ייעודי למשימות כמו חילוץ נתונים, סיכום טקסטים, מענה על שאלות והפעלת כלים לפי סכמת הפונקציות המוכרת של אופן איי איי.

במבחני הקוד הוא מספק תוצאות חזקות יחסית לגודלו, עם 81.71 בבנצ'מרק של HumanEval וציון של 60.80 בהפעלת כלים במבחן BFCL v3. התוצאות האלו מראות שבמשימות ממוקדות של קריאות לפונקציות הוא סוגר פערים יפה מול מודלים של 8 מיליארד פרמטרים, אם כי במשימות חשיבה כלליות מורכבות הוא מפגר אחריהם כצפוי.

מתאים ל

• סוכן מקומי לניתוב קריאות

  התאמה מלאה לפורמט הפונקציות וציון טוב בהפעלת כלים בגודל שרץ על חומרה זולה.

• חילוץ מידע ממסמכים ארוכים

  חלון הקשר של 131 אלף טוקנים מאפשר להזין תיקי מסמכים שלמים בלי לחתוך מידע.

• השלמת קוד בתוך ארגון

  תומך במשימות קוד ומילוי באמצע, ומתאים לריצה מקומית מאובטחת שלא מוציאה קוד החוצה.

איפה זה נופל

החולשה המרכזית נובעת מהנפח הפיזי שלו. במבחן SimpleQA הוא הוציא ציון של 3.68 בלבד, מה שאומר שידע עולם עובדתי הוא נקודת תורפה רצינית והוא ימציא פרטים בקלות אם לא תספקו לו את המידע המדויק בהקשר. גם במבחן החשיבה GPQA הוא השיג 31.70 בלבד. בנוסף, רשימת השפות הנתמכות כוללת אנגלית, ערבית, גרמנית, צרפתית ועוד כמה, אבל עברית נעדרת לחלוטין מהרשימה הרשמית. לא הייתי בונה עליו לממשק משתמש מקומי בעברית בלי אימון מקדים נוסף.

אותה משפחה

granite-4.1 יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

קבצי המודל שוקלים 6.3 גיגה בייט בפורמט bfloat16, כך שכרטיס מסך בודד עם 8 עד 12 גיגה זיכרון יריץ אותו בלי מאמץ דרך ספריית transformers הרגילה ופייתון. אם תרצו לנצל את מלוא חלון ההקשר תצטרכו להקצות זיכרון נוסף עבור ה־KV cache, או לכווץ אותו לדיוק נמוך יותר.

אם כל מה שאתם צריכים זה לסכם מדי פעם מסמך קצר, אין שום סיבה לתחזק שרת עצמאי ועדיף לצרוך מודל גדול דרך שירות ענן. הריצה המקומית פה משתלמת רק כשאתם בונים סוכן שרץ ברקע ללא הפסקה, דורש פרטיות מלאה, או מבצע אינספור קריאות חוזרות של הפעלת פונקציות.

from transformers import pipeline

pipe = pipeline("text-generation", model="ibm-granite/granite-4.1-3b")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 6.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors5.0 GB
• model-00002-of-00002.safetensors1.8 GB
• tokenizer.json7.2 MB
• vocab.json1.6 MB
• merges.txt916.6 KB
• README.md32.5 KB
• model.safetensors.index.json29.9 KB
• tokenizer_config.json17.7 KB
• model.sig10.7 KB
• chat_template.jinja6.1 KB
• .gitattributes1.5 KB
• config.json801 B
• special_tokens_map.json579 B
• generation_config.json147 B

הרישיון

הרישיון הוא אפאצ'י 2.0 מלא. אפשר להשתמש בו למוצרים מסחריים, לשנות את המשקלים, להטמיע אותו בתוך מערכות סגורות ולהפיץ אותו חופשי. התנאי היחיד הוא שמירת הצהרת זכויות היוצרים והרישיון המקורי בקוד או בהפצה שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗