granite-4.0-tiny-preview

מה זה

מדובר במודל הוראות שמבוסס על ארכיטקטורת תערובת מומחים היברידית עם 6.7 מיליארד פרמטרים. המאפיין הבולט ביותר שלו הוא היכולת לטפל בהקשר של 131,072 טוקנים, מה שמאפשר לו לעכל מסמכים שלמים, פרוטוקולים ותמלילי פגישות. הוא כולל תמיכה מובנית במצב חשיבה לפני מענה, קריאות לפונקציות, ומשימות חילוץ וסיווג מידע.

במדדים היבשים הוא מציג תמונה מעורבת. הוא רושם 82.41 ב־HumanEval וגובר על מודל ה־2B הקודם של הסדרה ברוב המבחנים הקשים, כולל 60.40 ב־MMLU ו־46.22 ב־DROP. יחד עם זאת, במבחני שיחה ובקרה מורכבים כמו Arena-Hard שבו קיבל 26.70 ו־AlpacaEval-2.0 עם 35.16, הוא מציג ציונים נמוכים יותר אפילו מגרסת ה־2B הקודמת, ורחוק מאוד מגרסת ה־8B.

מתאים ל

• סיכום מסמכים ופרוטוקולים

  חלון של 131 אלף טוקנים מאפשר להזין טקסטים ארוכים במיוחד בבת אחת.

• עוזרי קוד בשרת פרטי

  תוצאה של 82.41 ב־HumanEval מבטיחה יכולת כתיבת קוד טובה מאוד לגודל כזה.

• מערכות RAG בארגונים

  רישיון חופשי ומשקל של 12.4 ג'יגה מקלים על הטמעה מקומית ומאובטחת.

איפה זה נופל

הנתונים מראים נפילה ברורה ביכולות מעקב אחר הוראות מורכבות ושיחה חופשית, כפי שמשתקף בציון 63.03 בלבד במבחן IFEval וציוני ארנה נמוכים. בנוסף, עברית אינה ברשימת 12 השפות הנתמכות, שכוללת שפות כמו אנגלית, ערבית, צרפתית וגרמנית, ולכן הוא לא מתאים לעבודה בעברית ללא כוונון נוסף. צריך לזכור שזו גרסת תצוגה מקדימה, מה שאומר שהיציבות של הארכיטקטורה והמבנה שלה עדיין עשויים להשתנות.

איך מריצים

המשקל הכולל של הקבצים עומד על 12.4 ג'יגה־בייט, כך שתוכלו להריץ אותו בקלות על כרטיס מסך בודד עם 16 או 24 ג'יגה זיכרון בעבודה עם bfloat16. מכיוון שמדובר בארכיטקטורת MoE חדשה יחסית, אי אפשר פשוט לטעון אותו מהמדף, וחייבים להתקין את ספריית transformers ישירות מקוד המקור בגיטהאב דרך ה־PR הייעודי כדי לקבל תמיכה.

אם אתם רק בודקים רעיון או שאין לכם כרטיס מתאים בסביבה המקומית, שירות מנוהל יחסוך את כאב הראש של ההתקנה ממקור. עם זאת, בזכות המשקל הקומפקטי שלו, היתרון האמיתי כאן הוא דווקא להריץ אותו על תשתית פרטית משלכם.

from transformers import pipeline

pipe = pipeline("text-generation", model="ibm-granite/granite-4.0-tiny-preview")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 12.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00003.safetensors5.0 GB
• model-00002-of-00003.safetensors4.9 GB
• model-00003-of-00003.safetensors3.4 GB
• tokenizer.json3.5 MB
• model.safetensors.index.json48.9 KB
• README.md11.1 KB
• tokenizer_config.json10.1 KB
• model.sig10.0 KB
• config.json1.8 KB
• .gitattributes1.5 KB
• special_tokens_map.json801 B
• generation_config.json137 B

הרישיון

הרישיון הוא Apache 2.0 מלא. אתם רשאים להשתמש בו לצרכים מסחריים, לשנות אותו, לאמן עליו ולשלב אותו במוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי בקבצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗