Ovis1.6-Gemma2-9B

מה זה

הארכיטקטורה הזו מחברת את מקודד התמונה SigLIP בגודל 400M אל מודל השפה Gemma2-9B-It כדי לייצר מודל מולטימודלי של עשרה מיליארד פרמטרים. המטרה של המפתחים הייתה לייצר חיבור מבני ישיר בין הייצוג הוויזואלי לייצוג הטקסטואלי, במקום להדביק שכבת גישור פשוטה ביניהם.

הגרסה הזו עברה אימון המשך על תמונות ברזולוציה גבוהה, עבודה מול נתונים מגוונים יותר ותהליך יישור בהעדפות אנושיות באמצעות DPO. בבדיקות של OpenCompass למודלים רב-מודאליים פתוחים, הוא עוקף מתחרים שמגיעים עד לגודל של שלושים מיליארד פרמטרים, מה שאומר שהוא מחלץ הבנה ויזואלית עמוקה בלי לנפח את דרישות המעבד.

מתאים ל

• ניתוח מסמכים באנגלית

  חילוץ מידע מתרשימים וטפסים מורכבים ברזולוציה גבוהה, בזכות התמיכה של המודל בפרטים ויזואליים עדינים.

• מענה על שאלות מתמונה

  שילוב במערכות שירות מבוססות אנגלית כדי להבין תקלות חזותיות שהמשתמש מעלה בצילום מסך.

• תיוג תוכן חזותי

  יצירת תיאורים מדויקים של עצמים וסצנות עבור מאגרי מדיה גדולים ללא תלות בספק ענן סגור.

איפה זה נופל

המודל אומן ותועד סביב השפה האנגלית בלבד, כך שאין לצפות לביצועים סבירים על טקסט בעברית שנמצא בתוך תמונות או בשאלות עצמן. בנוסף, המפתחים מצהירים שהם השתמשו באלגוריתמים לבדיקת תאימות נתונים אך אינם מתחייבים להיעדר בעיות זכויות יוצרים או תוכן לא הולם, מה שמחייב סינון פלט לפני שמשלבים אותו מול משתמשי קצה. מעבר לכך, בעמוד עצמו מצוין שכבר קיימת גרסה חדשה יותר בשם Ovis2.5.

אותה משפחה

Ovis1.6-Gemma2 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו בדיוק המקורי של bfloat16 תצטרכו כרטיס מסך עם לפחות עשרים וארבעה גיגה זיכרון, כמו RTX 3090 או כרטיס שרת מקביל, כי המשקלים תופסים תשעה עשר גיגה עוד לפני שלוקחים בחשבון את הזיכרון של התמונה והחישוב. הספריות הדרושות הן פייטורץ וטרנספורמרס בגרסאות תואמות, ללא תלויות חריגות.

אם אתם לא רוצים להחזיק שרת ייעודי שעולה לא מעט שעות עבודה בחודש, שירותי אירוח חיצוניים מבוססי API עשויים לחסוך תחזוקה. מצד שני, אם אתם צריכים פרטיות מלאה לקבצי התמונה שלכם, הגודל הזה הוא הגבול שבו עדיין הגיוני לפרוס חומרה מקומית בודדת.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="ATH-MaaS/Ovis1.6-Gemma2-9B")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 19.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00003-of-00005.safetensors5.0 GB
• model-00002-of-00005.safetensors4.9 GB
• model-00001-of-00005.safetensors4.9 GB
• model-00004-of-00005.safetensors4.5 GB
• model-00005-of-00005.safetensors1.1 GB
• tokenizer.json17.5 MB
• tokenizer.model4.2 MB
• model.safetensors.index.json94.5 KB
• tokenizer_config.json40.6 KB
• modeling_ovis.py29.6 KB
• configuration_ovis.py8.2 KB
• README.md7.7 KB
• config.json6.9 KB
• .gitattributes1.6 KB
• NOTICE1.0 KB
• special_tokens_map.json636 B
• preprocessor_config.json394 B
• generation_config.json187 B

הרישיון

הפרויקט מופץ תחת רישיון אפאצ'י שתיים אפס, שמאפשר שימוש מסחרי, שינוי של הקוד והפצה מחדש ללא תשלום תמלוגים. התנאי העיקרי הוא שמירה על הודעות זכויות היוצרים והרישיון המקורי בקבצים שתפיצו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗