granite-3.0-2b-instruct

מה זה

מדובר במודל צפוף עם כ־2.6 מיליארד פרמטרים שאומן על 12 טריליון טוקנים, ועבר כוונון ייעודי למילוי הוראות, מענה לשיחות, מיצוי מידע והפעלת פונקציות. יבמ שילבה כאן דאטה סינתטי פנימי יחד עם מערכי נתונים ברישיון פתוח, והפעילה שיטות יישור שכוללות למידת חיזוק ומיזוג מודלים.

היתרון שלו על פני מודלים גדולים הוא המיקוד. במקום לנסות לדעת הכל על הכל, הוא בנוי להיכנס לתוך תהליכי עבודה עסקיים כמו שליפת מידע או ניתוח טקסט, כשהוא דורש מעט מאוד משאבי מחשוב. הוא תומך באופן רשמי ב־12 שפות, ביניהן אנגלית, ערבית, גרמנית וצרפתית.

מתאים ל

• חילוץ נתונים וסיווג

  מתאים למיון מיילים ומיצוי שדות מטקסטים קצרים באנגלית בלי עלויות ענן.

• הפעלת פונקציות במערכת

  משתלב כרכיב מקומי קל שממיר פקודות משתמש לקריאות קוד מוגדרות.

• שליפת מידע פנימית

  משמש מנוע תשובות עבור מסדי ידע מקומיים שבהם אסור לדלוף לרשת.

איפה זה נופל

עברית לא נכללת ברשימת 12 השפות הנתמכות, ולכן לא הייתי בונה עליו ליישומים בעברית בלי אימון ייעודי מראש. חלון ההקשר מוגבל ל־4,096 טוקנים בלבד, מה שפוסל אותו מקריאת מסמכים ארוכים מאוד בבת אחת.

יבמ מציינת במפורש שהביצועים בשפות שאינן אנגלית נמוכים יותר ועשויים לדרוש הדגמות בפרומפט. בנוסף, המודל עלול לפלוט שגיאות או הטיות, כך שחובה להוסיף בדיקות לפני שמשלבים אותו במוצר.

אותה משפחה

granite-3.0 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים עומד על 4.9 גיגהבייט בפורמט bfloat16, כך שכרטיס מסך בסיסי עם 6 עד 8 גיגהבייט זיכרון יריץ אותו בקלות. מריצים אותו ישירות דרך ספריית transformers ו־accelerate של פייתון, ואין צורך באשכולות שרתים מורכבים.

אם כל מה שאתם צריכים זה לנתח מסמכים מדי פעם, קריאה ל־API חיצוני כנראה תהיה פשוטה יותר מלתחזק קוד משלכם. הריצה העצמאית של המודל הזה מתאימה כשחשוב לכם שהמידע לא ייצא מהרשת המקומית, או כשיש לכם תעבורה רציפה שמצדיקה מכונה ייעודית.

from transformers import pipeline

pipe = pipeline("text-generation", model="ibm-granite/granite-3.0-2b-instruct")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 4.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors5.0 GB
• model-00002-of-00002.safetensors268.5 MB
• tokenizer.json3.5 MB
• vocab.json777.0 KB
• merges.txt441.8 KB
• model.safetensors.index.json29.9 KB
• README.md11.5 KB
• tokenizer_config.json5.6 KB
• .gitattributes1.5 KB
• config.json785 B
• special_tokens_map.json701 B
• added_tokens.json87 B

הרישיון

הרישיון הוא Apache 2.0 מלא. אפשר להשתמש במודל לצרכים מסחריים, לשנות אותו, לאמן עליו גרסאות חדשות ולהפיץ אותו כחלק ממוצר סגור, בלי לשלם תמלוגים ליבמ. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים ונוסח הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗