h2ovl-mississippi-800m

מה זה

המודל מבוסס על סדרת H2O-Danube של החברה, ואומן על 19 מיליון זוגות של תמונה וטקסט עם התמקדות ברורה בסריקת מסמכים, טבלאות וגרפים. הרעיון כאן הוא לקחת ארכיטקטורת שפה קטנה ולחבר אותה לרכיב ראייה בלי לייצר מפלצת שדורשת שרת ייעודי, כאשר הדגש העיקרי הוא קריאת נתונים מובנים והמרתם לפורמט טקסטואלי.

במבחני OCRBench הוא מגיע לציון של 751 נקודות. זה נתון שמציב אותו קרוב מאוד למודלים כבדים בהרבה כמו InternVL2-2B שקיבל 781 או Phi-3-Vision שעומד על 637 נקודות בלבד למרות גודל של מעל 4 מיליארד פרמטרים. המשמעות בפועל היא שבכל מה שקשור לזיהוי אותיות, מספרים וקריאת שלטים, הוא מתפקד מצוין לגודלו.

עם זאת, כשמסתכלים על שאר המדדים התמונה משתנה. בבדיקות כלליות יותר כמו MMBench או AI2D הוא מקבל ציונים נמוכים של 47.7 ו־53.6 בהתאמה, הרבה מאחורי מתחרים עם שני מיליארד פרמטרים. הוא לא מיועד להבנת סצנות מורכבות או הסקת מסקנות ויזואליות עמוקות, אלא בעיקר לעבודה כסורק חכם שמחלץ מידע יבש.

מתאים ל

• חילוץ נתונים מטפסים וקבלות

  הוא יודע לקרוא ערכים מתוך שדות קבועים ולפלוט אותם ישירות למבנה JSON מסודר באנגלית.

• המרת טבלאות מקבצי תמונה

  האימון הייעודי מאפשר לו לפרק עמודות ושורות מתמונת טבלה לרשימות ומערכים בלי להסתבך.

• סריקת נתונים מגרפים פשוטים

  הוא מחלץ שמות צירים ומספרי נקודות מתוך תרשימי עמודות ישר לתוך שדות מוגדרים מראש.

איפה זה נופל

החולשה העיקרית היא הבנה כללית של תמונות שאינן מסמכים. הממוצע הכללי שלו בלוח המבחנים עומד על 43.5 בלבד, והציון שלו במבחן ההזיות עומד על 29.6 נקודות, הנמוך בטבלה. זה אומר שהוא נוטה להמציא פרטים כשהתמונה מורכבת מדי. בנוסף, המודל אומן על אנגלית בלבד. אם תזרקו עליו מסמכים בעברית, קבלות מקומיות או שלטים בארץ, הוא פשוט לא יידע מה לעשות איתם.

אותה משפחה

h2ovl-mississippi יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים הוא 1.5 גיגה בייט בלבד בדיוק bfloat16, כך שכרטיס מסך בסיסי עם 4 או 6 גיגה זיכרון יריץ אותו בקלות בלי קיצוצים. ההרצה דורשת התקנה של ספריות סטנדרטיות כמו transformers, torch, timm ו־flash_attn, בלי צורך בתשתית שרתים מסובכת.

אם אתם שוקלים להשתמש בגרסת ה־2B של אותה סדרה, היא נותנת קפיצה מסוימת במבחני הבנה כלליים אבל דורשת יותר משאבים. אם כל מה שאתם צריכים זה לחלץ שדות מטפסים, להריץ אותו מקומית על מעבד גרפי פשוט יהיה זול ומהיר יותר משליחת אלפי בקשות ל־API חיצוני.

from transformers import pipeline

pipe = pipeline("text-generation", model="h2oai/h2ovl-mississippi-800m")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 1.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors1.7 GB
• tokenizer.model493.4 KB
• assets/text_recognition.png407.8 KB
• assets/perf_size.png204.3 KB
• modelling_h2ovl_chat.py21.3 KB
• modeling_intern_vit.py19.1 KB
• README.md14.0 KB
• image_process.py6.9 KB
• configuration_intern_vit.py5.5 KB
• conversation.py5.2 KB
• configuration_h2ovl_chat.py5.1 KB
• config.json4.1 KB
• tokenizer_config.json3.6 KB
• .gitattributes1.5 KB
• special_tokens_map.json1.0 KB
• generation_config.json214 B
• added_tokens.json199 B

הרישיון

הקוד והמשקולות משוחררים תחת רישיון apache-2.0. מותר להשתמש במודל לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצרים סגורים ולהפיץ אותו בחופשיות. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים והצהרת הרישיון המקורית של המפתחים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗