granite-3.3-8b-instruct

מה זה

מדובר במודל שמביא ביצועים גבוהים במיוחד מול מתחרים באותו משקל, בעיקר בבנצ'מרקים שבודקים היגיון ומעקב אחרי הוראות כמו ארנה הארד עם תוצאה של 57.56 ואלפקה אוואל עם 62.68 כשמצב החשיבה מופעל. הוא כולל תגיות ייעודיות שמפרידות בין שלב ההסקה לבין התשובה הסופית, מה שנותן שקיפות מלאה לדרך שבה הוא מגיע לפתרון.

המודל מגיע עם חלון הקשר של מאה שלושים ואחד אלף טוקנים, מה שמתאים לניתוח מסמכים ארוכים ותהליכי שליפת מידע מורכבים. הוא מתחרה ראש בראש עם דגמים מקבילים של מטא וקואן, ומציג דיוק גבוה מאוד בכתיבת קוד עם 89.73 ביומן אוואל, תוך שמירה על יציבות במענה להנחיות מורכבות.

מתאים ל

• פיתוח ובדיקת קוד

  תוצאה של 89.73 ביומן אוואל הופכת אותו למעולה ליצירת סקריפטים ובדיקות.

• סיכום מסמכים ארוכים

  חלון של 128 אלף טוקנים מאפשר לקרוא חוזים ומסמכים טכניים שלמים ברצף.

• מערכות שליפת מידע

  התאמה מובנית לחיבור עם מאגרי מידע ארגוניים וביצוע תהליכי חשיבה מורכבים.

איפה זה נופל

החולשה העיקרית שלו עבור השוק המקומי היא היעדר תמיכה רשמית בעברית. רשימת השפות כוללת שתים עשרה שפות כמו אנגלית, צרפתית, ערבית וספרדית, אבל עברית לא מופיעה שם ותדרוש אימון נוסף. בנוסף, בבדיקות ידע כללי ושאלות פתוחות כמו פופ קיו איי הוא קיבל ציון נמוך של 26.17, נמוך יותר מדגמים מתחרים, כך שלא כדאי לבנות עליו כמקור ידע אנציקלופדי עצמאי.

אותה משפחה

granite-3.3 יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים עומד על 15.2 גיגהבייט בפורמט בי פלוט 16. להרצה מקומית תצטרכו כרטיס מסך עם לפחות 16 עד 24 גיגהבייט זיכרון כדי להחזיק את המשקלים ואת זיכרון ההקשר של השיחה. הטעינה נעשית בצורה רגילה דרך ספריית טרנספורמרס.

אם אתם מתכננים לנצל את מלוא חלון ההקשר הארוך עד לקצה שלו, דרישות הזיכרון יעלו משמעותית. במצב כזה, או אם אין לכם חומרה ייעודית עם מאיץ גרפי חזק, פשוט יותר וזול יותר לצרוך אותו דרך תשתית ענן במקום לקנות חומרה מקומית יקרה.

from transformers import pipeline

pipe = pipeline("text-generation", model="ibm-granite/granite-3.3-8b-instruct")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 15.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors5.0 GB
• model-00004-of-00004.safetensors1.4 GB
• tokenizer.json3.5 MB
• vocab.json777.0 KB
• merges.txt441.8 KB
• model.safetensors.index.json29.8 KB
• README.md27.6 KB
• tokenizer_config.json9.9 KB
• .gitattributes1.5 KB
• special_tokens_map.json801 B
• config.json790 B
• added_tokens.json207 B
• generation_config.json132 B

הרישיון

המודל משוחרר ברישיון אפאצ'י 2.0. זהו רישיון קוד פתוח מתירני לחלוטין שמאפשר שימוש מסחרי, שינוי, הפצה והטמעה במוצרים סגורים, בלי דרישה לפתוח את הקוד שלכם, כל עוד שומרים על הודעת הרישיון המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗