granite-vision-3.1-2b-preview

מה זה

מדובר במודל שמשלב בין מקודד התמונות SigLIP לבין מודל השפה granite-3.1-2b-instruct דרך ארכיטקטורת LlavaNext. למרות שהשם שלו כולל 2B, יחד עם רכיבי הראייה הוא מגיע ל־3 מיליארד פרמטרים. המטרה המרכזית שלו היא לא סתם לזהות חתולים בתמונות, אלא לקרוא טקסט מתוך גרפים, טבלאות ותרשימים טכניים ברזולוציה גבוהה יחסית.

במבחני ביצועים של הבנת מסמכים הוא עוקף מודלים מקבילים באותו סדר גודל. במבחני ChartQA ו־InfoVQA הוא הוציא ציונים של 0.86 ו־0.63, גבוה יותר ממתחרים כמו Phi3.5v. מנגד, במבחן הידע הכללי הרב־תחומי MMMU הוא קיבל רק 0.35, מה שממחיש שהוא ממוקד בעיקר בניתוח תוכן מובנה ופחות בהסבר תופעות מורכבות בעולם.

מתאים ל

• חילוץ נתונים מטבלאות

  הוא מיומן בקריאת טבלאות מורכבות ומספק תוצאות גבוהות במבחני פענוח מסמכים.

• ניתוח גרפים באנגלית

  מתאים לשליפת מספרים ומגמות מתוך אינפוגרפיקות ודיאגרמות עסקיות.

• מערכות עיבוד פנימיות

  מאפשר לשמור על פרטיות מלאה של קבצים רגישים בהרצה מקומית על כרטיס בודד.

איפה זה נופל

השם שלו מכיל preview, וזה אומר שהמודל עדיין בשלבי בדיקה ולא בגרסה יציבה סופית. הוא תומך באנגלית בלבד, כך שלא תוכלו לסמוך עליו במסמכים בעברית. הכרטיס מציין בפירוש שמודלים בגודל כזה נוטים יותר להזיות, בעיקר במשימות תמונה כלליות שלא קשורות למסמכים. כמו כן, למשימות שמכילות טקסט בלבד עדיף להשתמש במודלי שפה רגילים, שכן גרסת הראייה פחות חזקה בהן.

איך מריצים

כדי להריץ אותו צריך התקנה עדכנית של ספריית transformers מגרסה 4.49 ומעלה, או סביבת vLLM בגרסה 0.6.6. כל הקבצים שוקלים יחד 11.1 גיגה בייט, כך שכרטיס מסך בודד של 16 גיגה זיכרון יספיק כדי להעלות אותו ולעבד תמונות בלי בעיה.

אם אתם צריכים להריץ אלפי מסמכים בתוך הרשת המקומית בלי להוציא נתונים החוצה, הרצה עצמית על שרת ייעודי היא הבחירה הנכונה. לעומת זאת, אם הנפח שלכם נמוך ומדובר בכמה עשרות קריאות ביום, כנראה יהיה זול ופשוט יותר לפנות ל־API מסחרי גדול ולא לתחזק כרטיס גרפי פעיל.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="ibm-granite/granite-vision-3.1-2b-preview")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 11.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors10.0 GB
• model-00002-of-00002.safetensors1.9 GB
• tokenizer.json2.1 MB
• vocab.json777.0 KB
• merges.txt441.8 KB
• example.png361.0 KB
• model.safetensors.index.json86.4 KB
• README.md9.9 KB
• tokenizer_config.json7.0 KB
• config.json3.1 KB
• preprocessor_config.json2.0 KB
• chat_template.json1.6 KB
• .gitattributes1.6 KB
• special_tokens_map.json701 B
• generation_config.json137 B
• added_tokens.json116 B
• processor_config.json115 B

הרישיון

רישיון apache-2.0 מאפשר שימוש מסחרי מלא, שינוי של הקוד והפצה פנימית או חיצונית בתוך מוצרים. הדרישה העיקרית היא שמירה על הודעת זכויות היוצרים וציון הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗