Ovis2-1B

מה זה

מדובר במודל מולטימודלי זעיר המשלב בין רכיב הראייה aimv2-large לבין מודל הטקסט Qwen2.5-0.5B. השילוב הזה נועד ליישר ייצוגים ויזואליים וטקסטואליים ישירות בארכיטקטורה, עם תמיכה בעיבוד תמונות בודדות, מספר תמונות במקביל ואפילו וידאו.

היתרון הבולט שלו הוא קריאת טקסט. במבחן OCRBench הוא קיבל ציון 89.0, תוצאה שעוקפת אפילו את הגרסאות הגדולות יותר בסדרה כמו Ovis2-2B ואת Qwen2.5-VL-3B. הוא גם מוציא 59.4 ב־MathVista, כך שיש לו יכולת סבירה בניתוח תרשימים ובעיות ויזואליות פשוטות.

מצד שני, היכולות המילוליות הכלליות שלו מוגבלות מאוד בגלל מודל הבסיס הקטן. במבחנים רחבים כמו MMMU הוא מקבל רק 36.1, מה שאומר שהוא מתאים למשימות ממוקדות של חילוץ מידע ולא לשיחה חופשית או ניתוח מעמיק.

מתאים ל

• חילוץ טקסט מטפסים

  תוצאת ה־OCRBench הגבוהה הופכת אותו למעולה בקריאת חשבוניות ותרשימים מקומית.

• סריקת תמונות במכשירי קצה

  משקל של 2.4 גיגה בייט מאפשר לו לרוץ על מחשבים ניידים פשוטים וחומרה זולה ללא רשת.

• סינון ראשוני של מסמכים

  הוא מזהה נוכחות של אלמנטים וטקסט בסיסי במהירות גבוהה לפני שליחה למודל כבד יותר.

איפה זה נופל

היוצרים מציינים במפורש שהם אינם יכולים להבטיח היעדר בעיות זכויות יוצרים או תוכן לא הולם בנתוני האימון. במבחני וידאו כמו VideoMME הוא מגיע לציון של 48.6 בלבד, ואינו מחזיק הקשר לאורך זמן. בנוסף, המודל מוגדר רשמית לאנגלית ולסינית בלבד. אין תמיכה מובנית בעברית, ולמרות השיפור בראייה, הוא נוטה להיכשל בהבנת הקשרים מורכבים בגלל מוח טקסטואלי זעיר של חצי מיליארד פרמטרים.

אותה משפחה

Ovis2 יצא ב־6 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים עומד על 2.4 גיגה בייט בלבד, מה שמאפשר להריץ אותו בקלות על מעבד גרפי ביתי פשוט, ואפילו על כרטיסי מסך ישנים עם מעט זיכרון. ההתקנה דורשת את ספריית transformers יחד עם torch בגרסה 2.4.0 וממליצה על flash-attn לשיפור מהירות הריצה.

המפרסמים עצמם ממליצים להשתמש בגרסה החדשה יותר, Ovis2.5, כך שאם אתם מתחילים פרויקט חדש כדאי לבדוק אותה קודם. להרצה מקומית המודל הזה אידיאלי מבחינת עלויות, אך אם המטרה היא ניתוח מורכב של סרטונים ארוכים, כדאי לשקול פנייה למודל גדול יותר דרך ממשק חיצוני במקום להתאמץ על דיוק נמוך.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="ATH-MaaS/Ovis2-1B")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 2.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors2.5 GB
• tokenizer.json11.4 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• modeling_ovis.py28.4 KB
• README.md14.5 KB
• configuration_ovis.py8.2 KB
• tokenizer_config.json7.3 KB
• config.json7.2 KB
• modeling_aimv2.py6.7 KB
• configuration_aimv2.py2.5 KB
• .gitattributes1.6 KB
• NOTICE986 B
• special_tokens_map.json613 B
• added_tokens.json605 B
• preprocessor_config.json467 B
• generation_config.json276 B

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הקוד והפצה פנימית או חיצונית בתוך מוצרים. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים המקורית והצהרת שינויים אם נעשו כאלה, ללא דרישה לחשוף את הקוד של המוצר שבו המודל מוטמע.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗