granite-4.0-3b-vision

מה זה

יבמ בנו כאן מודל ראייה ושפה קומפקטי שמכוון בדיוק לנקודה שבה מודלים קטנים בדרך כלל נשברים, קריאת מסמכים מורכבים. במקום לנסות לדעת הכול, הוא מתמקד בשלושה דברים, המרת גרפים לפורמטים כמו קבצי טבלה או קוד, פירוק טבלאות מורכבות למבני נתונים, ושליפת צמדי מפתח וערך לפי הגדרות סכמה. הארכיטקטורה מבוססת על מודל טקסט בסיסי של 3.5 מיליארד פרמטרים עם תוסף ראייה של חצי מיליארד פרמטרים, כשהעיבוד הוויזואלי מוזרק ישירות לשכבות שונות כדי לשמור על דיוק בפרטים הקטנים.

במבחני ביצועים הוא עומד יפה מול המתחרים בקטגוריית הגודל שלו. במבחן שליפת שדות ממסמכים הוא רשם דיוק של 85.5 אחוזים והגיע למקום השלישי מבין מודלים בטווח של 2 עד 4 מיליארד פרמטרים. הפעלת המשימות פשוטה יחסית ולא דורשת הנדסת פקודות מורכבת, תגית פשוטה בתחילת הבקשה מגדירה לו אם להוציא קוד, קובץ נתונים או קוד מבנה.

מתאים ל

• חילוץ חשבוניות וקבלות

  שליפת שדות לפי סכמת נתונים ישירות למבנה מסודר, בלי להסתבך עם הגדרות תבנית שונות.

• המרת תרשימים לטבלאות

  קריאת גרפים מתוך דוחות פיננסיים ותרגום מהיר שלהם לערכים מספריים ולשורות נתונים.

• פירוק טבלאות מפידיאף

  הוצאת טבלאות עם מבנה תאים מורכב ישירות לקוד תצוגה ששומר על הסדר המקורי.

איפה זה נופל

הכרטיס מצהיר במפורש שהאימון בוצע על הוראות באנגלית בלבד. אם תזרקו עליו חשבוניות או מסמכים בעברית, סביר להניח שתקבלו תוצאות חלקיות או שגיאות גסות. מעבר לזה, מדובר בכלי לחילוץ נתונים מובנים ולא במודל לשיחה חופשית או להבנת תמונות כללית, כך שאי אפשר לבנות עליו לתיאור תמונות אמנותיות או מענה על שאלות פתוחות. בכל מקרה של שילוב בתהליך אוטומטי, חובה להוסיף שכבת אימות לנתונים כדי לבלום המצאת מספרים.

איך מריצים

המשקל הכולל של הקבצים עומד על 8.8 ג'יגה בייט, מה שאומר שכרטיס מסך ביתי או שרת פשוט עם 12 עד 16 ג'יגה בייט זיכרון גרפי יריץ אותו בלי להזיע. אפשר לטעון אותו דרך ספריית הטרנספורמרס הרגילה בפייתון, אבל הדגש כאן הוא על שרת מותאם שמגיע בקבצי המאגר. הוא תומך בשני מצבים, איחוד מלא של המשקולות לריצה מהירה על תמונות, או טעינה דינמית שבה בקשות טקסט נקיות רצות על מודל הבסיס ורק תמונות מפעילות את שכבת הראייה.

אם אתם צריכים לפענח מסמכים רגישים מקומית בלי לשלוח מידע החוצה, החומרה הנדרשת מינימלית ושווה להרים אותו לבד. אם העומס שלכם נמוך והמסמכים אינם מכילים סודות, שימוש בספק חיצוני יחסוך את כאב הראש של תחזוקת השרת.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="ibm-granite/granite-4.0-3b-vision")
print(pipe("שלום"))

הקבצים

31 קבצים במאגר, 8.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors5.0 GB
• model-00002-of-00002.safetensors3.5 GB
• adapter_model.safetensors943.8 MB
• tokenizer.json7.2 MB
• vocab.json2.0 MB
• merges.txt916.6 KB
• invoice.png612.7 KB
• table.png289.9 KB
• charts.jpg266.5 KB
• tables.jpg230.3 KB
• tables-cropped.jpg171.7 KB
• tables-full-page.jpg159.2 KB
• model.safetensors.index.json112.1 KB
• chart.jpg60.3 KB
• granite4_vision.py38.0 KB
• modeling.py27.2 KB
• README.md18.1 KB
• tokenizer_config.json18.0 KB
• chat_template.jinja12.1 KB
• downsampling.py6.0 KB
• adapter_config.json6.0 KB
• config.json4.6 KB
• processing.py2.3 KB
• .gitattributes2.1 KB
• configuration.py1.8 KB
• preprocessor_config.json1.6 KB
• special_tokens_map.json631 B
• start_granite4_vision_server.py422 B
• processor_config.json286 B
• generation_config.json147 B
• added_tokens.json24 B

הרישיון

הרישיון הוא אפאצ'י 2.0, מה שנותן חופש פעולה מלא. מותר להשתמש בו במוצרים מסחריים, לשנות את הקוד, לפתח עליו מוצרים חדשים ולהפיץ אותו, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗