GPT
הוספת כלי
O

Ovis2-34B

קוד פתוח

ATH-MaaSapache-2.02025-02-10

  • transformers
  • safetensors
  • ovis
  • text-generation
  • MLLM

מודל מולטימודלי שמנתח תמונות ווידאו ברמת דיוק גבוהה. הוא משלב מנוע שפה של 32 מיליארד פרמטרים עם רכיב ראייה של מיליארד פרמטרים.

  • 35Bפרמטרים
  • 65.0 GBמשקל הקבצים
  • 235הורדות בחודש
  • 151לייקים

מה זה

מדובר במודל שמחבר בין מנוע הראייה aimv2-1B למודל השפה Qwen2.5-32B-Instruct, ומיועד להבין תמונות, רצפי פריימים ווידאו. המטרה של הארכיטקטורה הזו היא ליישר בצורה מבנית את המידע החזותי ישירות לתוך מרחב הייצוג של הטקסט, במקום להסתמך רק על שכבת תרגום פשוטה ביניהם.

במבחני ביצועים הוא עוקף מודלים גדולים ממנו בכמה נקודות מפתח. במבחן MathVista הוא הגיע לציון 76.1 ועקף את Qwen2.5-VL-72B, מה שמראה יכולת הסקת מסקנות חזקה מתוך תרשימים ומשוואות. במבחני הבנת וידאו כמו TempCompass הוא הוביל עם 75.97, לצד תוצאה של 89.4 בבדיקות OCRBench.

מתאים ל

  • חילוץ נתונים מתרשימים

    ניתוח גרפים וטבלאות סבוכות באנגלית בזכות תוצאה של 76.1 במבחן MathVista.

  • תחקור וסיווג וידאו

    מענה על שאלות על רצפי פעולות בצילומי וידאו לפי ציונים חזקים ב־TempCompass.

  • דיגיטציה של מסמכים

    קריאת טקסטים באנגלית ובסינית ממסמכים סרוקים בהתבסס על ציון של 89.4 ב־OCRBench.

איפה זה נופל

הכרטיס מצהיר על אנגלית וסינית בלבד. אין תמיכה מובטחת בעברית, כך שזיהוי טקסט עברי מתמונות או מענה בעברית כנראה ייכשלו או יניבו שגיאות קשות.

בנוסף, היוצרים עצמם ממליצים לעבור לגרסת Ovis2.5 החדשה יותר. המפתחים גם מזהירים שהם אינם מתחייבים לנקיות מוחלטת של התוכן מבעיות זכויות יוצרים או פלט לא הולם, כך שחובה להוסיף שכבת סינון עצמאית לפני הטמעה בפרודקשן.

אותה משפחה

Ovis2 יצא ב־6 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Ovis2-1B16,557 Ovis2-4B12,363 Ovis2-8B651 Ovis2-2B350 Ovis2-16B270

שאלות
נפוצות

האם המודל יודע לקרוא עברית מתמונות?

הכרטיס הרשמי מציין תמיכה באנגלית ובסינית בלבד. המודל לא אומן או נבדק על עברית, ולכן אי אפשר להסתמך עליו למשימות זיהוי טקסט או עיבוד שפה מקומית.

למה שהמפתח יבחר בגרסה הזו ולא ב־Ovis2.5?

עמוד המודל מציין במפורש שעדיף להשתמש בגרסת Ovis2.5. הבחירה בגרסה 2 הנוכחית מתאימה בעיקר אם יש לכם צורך בתאימות לאחור או בדיקת שחזור מדויקת של תוצאות המחקר שפורסמו עבורה.

איך מריצים

כדי להריץ אותו צריך להוריד 65 גיגה בייט של קבצים ולהחזיק חומרה מתאימה. בדיוק המקורי של bfloat16 נדרשים לפחות שני כרטיסי A100 או H100 של 80GB כדי להחזיק את המשקלים בזיכרון ולהשאיר מקום לרצפי תמונות ארוכים.

ההתקנה דורשת ספריות ספציפיות כמו פייטורץ' 2.4.0, חבילת טרנספורמרס 4.46.2 ו־flash-attn. אם אין לכם שרת ייעודי כזה פנוי בענן, העלות של החזקת החומרה הנדרשת להסקה שוטפת תהיה גבוהה מאוד ביחס לפתרונות מנוהלים.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="ATH-MaaS/Ovis2-34B")
print(pipe("שלום"))

הקבצים

32 קבצים במאגר, 65.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, לבנות מעליו מוצרים ולהפיץ אותם, בתנאי ששומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗