GPT
הוספת כלי
O

Ovis1.6-Llama3.2-3B

קוד פתוח

ATH-MaaSapache-2.02024-10-16

  • transformers
  • safetensors
  • ovis
  • text-generation
  • MLLM

מודל ראייה ושפה קומפקטי שמחבר בין Siglip לבין Llama 3.2. הוא פונה למי שצריך לפענח תמונות מקומית על חומרה צנועה יחסית.

  • 4.1Bפרמטרים
  • 7.7 GBמשקל הקבצים
  • 8,531הורדות בחודש
  • 49לייקים

מה זה

הארכיטקטורה של Ovis מחברת כאן מודל שפה של Llama 3.2 3B יחד עם מעבד תמונה Siglip 400M, מה שמביא אותו לסך כולל של 4.1 מיליארד פרמטרים. הגרסה הזו עברה שיפור לעיבוד תמונות ברזולוציה גבוהה, ואימון DPO לאחר שלב ה־instruction tuning כדי לחדד את התשובות.

במבחני OpenCompass המפתחים מציגים תוצאות שמציבות אותו מעל מודלים פתוחים אחרים מתחת ל־4B, ואפילו מעל Llama 3.2 11B Vision Instruct הגדול ממנו משמעותית. בפועל המשמעות היא יכולת ניתוח פרטים חזותיים טובה מאוד ביחס לגודל הזיכרון שהוא תופס, בלי לקרוס תחת חישובי ענק.

מתאים ל

  • ניתוח תמונות על מכשירי קצה

    משקל קטן של 7.7 ג'יגה מאפשר להריץ אותו ישירות על מחשבים מקומיים עם חומרה סטנדרטית.

  • חילוץ מידע מתמונות באנגלית

    השילוב עם Siglip נותן מענה מצוין לפענוח פרטים חזותיים ותרשימים ברזולוציה גבוהה באנגלית.

  • מענה לשאלות מבוסס תמונה

    אימון ה־DPO והחיבור ל־Llama מייצרים תשובות טקסטואליות ממוקדות על בסיס קלט ויזואלי.

איפה זה נופל

המודל מוגדר רשמית עבור השפה האנגלית בלבד, כך שלא הייתי בונה עליו לעיבוד מסמכים או תמונות עם טקסט בעברית. בנוסף, המפתחים עצמם מציינים שהגרסה הבאה, Ovis2, כבר זמינה ומומלצת על פני גרסה זו.

המפתחים גם מבהירים בכרטיס שאינם יכולים להתחייב שהפלט נקי מבעיות של זכויות יוצרים או תוכן לא הולם. לפני שמעבירים מוצר כזה לפרודקשן מול משתמשי קצה, צריך לבדוק היטב את אמינות התשובות ולהוסיף שכבת סינון.

שאלות
נפוצות

האם המודל יצליח לקרוא מסמכים בעברית?

הכרטיס מגדיר את המודל לשפה האנגלית בלבד. סביר מאוד שהוא יתקשה או ייכשל בזיהוי אותיות וטקסט בעברית, ולכן לא כדאי להסתמך עליו למשימות כאלה.

כמה זיכרון כרטיס מסך נחוץ כדי להריץ אותו?

המשקלים שוקלים 7.7 ג'יגה בייט בפורמט המקורי. בפועל תצטרכו כרטיס עם לפחות 12GB זיכרון כדי לטעון אותו ולבצע הסקה יחד עם תמונות ברזולוציה גבוהה.

האם כדאי להתחיל פרויקט חדש עם הגרסה הזו?

בדף המודל המפתחים מפנים במפורש לסדרת Ovis2 החדשה יותר. שווה לבדוק קודם אם Ovis2 עונה על הדרישות שלכם לפני שמשקיעים בהטמעה של 1.6.

איך מריצים

המשקל הכולל של הקבצים עומד על 7.7 ג'יגה בייט בפורמט bfloat16, כך שכרטיס מסך בודד עם 12GB או 16GB זיכרון יחזיק אותו בקלות לצורך הסקת מסקנות. ההרצה מתבצעת ישירות דרך ספריית transformers, אך דורשת התקנה מקדימה של ספריות תואמות ומומלץ להשתמש ב־flash-attn לביצועים סבירים.

אם יש לכם שרת מקומי עם מאיץ גרפי מתאים, ההרצה העצמית הגיונית ומשתלמת. לעומת זאת, אם אתם רצים על סביבה חסרת GPU או שאתם צריכים רק שאילתות בודדות פעם בכמה שעות, עדיף לפנות ל־API חיצוני במקום לשלם על שרת ייעודי.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="ATH-MaaS/Ovis1.6-Llama3.2-3B")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 7.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון Apache 2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הקוד והמשקלים והפצה בתוך מוצרים, כל עוד אתם שומרים על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗