Ovis2.5-9B — הדגמה

מה זה

מעלים תמונה או סרטון וידאו, מקלידים הנחיה בתיבת הטקסט, ומקבלים תשובה מפורטת בחלון צ'אט שמסוגל להציג גם נוסחאות מתמטיות. המערכת מריצה מקומית מודל מולטימודלי בשם ATH-MaaS/Ovis2.5-9B דרך ספריית transformers, תוך שימוש במנגנון הזרמת טקסט חיה שמאפשר לראות את התשובה נכתבת בזמן אמת.

הממשק משלב מנגנון חשיבה עמוקה שמאפשר להגדיר תקציב טוקנים ייעודי לתהליך הניתוח לפני הפקת התשובה הסופית. הדוגמאות המובנות כוללות חישובי שטחים של ריבועים צמודים, ספירת פאות של פאונים תלת ממדיים, פענוח דיאגרמות של מודלים טכנולוגיים, קריאת תפריט מסעדה באיטלקית, ותיאור תוכן של קובץ וידאו.

מתאים ל

• פתרון בעיות גיאומטריה

  מעלים צילום של שאלת מתמטיקה עם שרטוט ומבקשים את הפתרון שלב אחר שלב כולל תוצאה סופית.

• הסבר דיאגרמות ותרשימים

  מזינים איור של ארכיטקטורת תוכנה או תהליך טכני ומקבלים סיכום טקסטואלי של המבנה.

• חילוץ מידע מתמונות בשפות זרות

  מעלים צילום של תפריט, חשבונית או שילוט בשפה זרה ומבקשים חישוב עלויות או תרגום.

• תיאור תוכן קובצי וידאו

  טוענים קובץ וידאו קצר ומבקשים תיאור מפורט של הפעולות וההתרחשויות המוצגות בו.

איפה זה נופל

חובה להזין שאלת טקסט לצד הקובץ, אחרת תקבלו שגיאה והעיבוד ייעצר מיד. סרטוני וידאו כבדים או בעלי קידוד לא נתמך נכשלים בעיבוד הפנימי של moviepy בלי הודעת תיקון ברורה, והדגמת הווידאו בממשק מציגה רק דוגמה בודדת אחת לעומת מגוון תמונות.

נוסף על כך, הממשק מבצע סיבוב שיחה יחיד בכל פעם. אי אפשר לנהל איתו דיאלוג מתמשך שמסתמך על מה שנאמר קודם, אלא רק לשלוח שאלה, לקבל תשובה ולנקות את הלוח.

אותה משפחה

Ovis2.5 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

בוחרים בין תמונה לווידאו, מעלים את הקובץ וכותבים שאלה בתיבה. אם רוצים לשלוט בעומק הפירוק, אפשר לפתוח את תפריט ההגדרות ולשנות את תקציב החשיבה בין 128 ל־3968 טוקנים, או להגביל את אורך הפלט עד 4096 טוקנים.

הממשק רץ על חומרת zero-a10g שמקצה כרטיס גרפי בעת דרישה. זה אומר שאם המודל קר, תמתינו כמה שניות לטעינה, ועיבוד וידאו דורש חיתוך מקדים של הפריימים שמוסיף זמן המתנה לפני שהפלט מתחיל לזרום.

pip install -U huggingface_hub
hf download ATH-MaaS/Ovis2.5-9B

הקבצים

21 קבצים במאגר, 17.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00003-of-00004.safetensors5.0 GB
• model-00002-of-00004.safetensors4.9 GB
• model-00001-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors3.6 GB
• tokenizer.json11.4 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• model.safetensors.index.json84.7 KB
• modeling_ovis2_5.py44.3 KB
• README.md14.6 KB
• tokenizer_config.json7.3 KB
• configuration_ovis2_5.py3.9 KB
• config.json2.1 KB
• chat_template.json1.7 KB
• .gitattributes1.6 KB
• added_tokens.json707 B
• special_tokens_map.json613 B
• LICENSE548 B
• NOTICE416 B
• preprocessor_config.json394 B
• generation_config.json277 B

הרישיון

הקוד והמודל זמינים תחת רישיון apache-2.0, שמתיר שימוש חופשי וגם מסחרי. הקבצים שאתם מעלים עוברים עיבוד ישירות על השרת שמארח את הממשק לצורך הרצת המודל.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗