GPT
O

Ovis2-16B — הדגמה

קוד פתוח

ATH-MaaSapache-2.02025-02-11

  • gradio

ממשק בדיקה למודל רב-מודאלי שמנתח תמונות וסרטוני וידאו קצרים לצד טקסט. הוא מתאים למי שרוצה לבחון פתרון בעיות גיאומטריות, פיענוח תרשימים או תיאור וידאו.

  • 16Bפרמטרים
  • 30.2 GBמשקל הקבצים
  • הורדות בחודש
  • 125לייקים

מה זה

אתם מעלים תמונה או קובץ וידאו בפורמט MP4, כותבים הנחיה בתיבת הטקסט ומקבלים תשובה בצ'אט שתומך גם בנוסחאות מתמטיות. המערכת מבוססת על המודל ATH-MaaS/Ovis2-16B ומשלבת עיבוד תמונה של PIL יחד עם חיתוך וידאו דרך ספריית MoviePy כדי להזרים תשובות טקסט ישירות למסך.

דוגמאות הממשק מציגות חישובי שטחים וצורות תלת-ממדיות לפי איורים, הסבר על תרשימי מודלים טכנולוגיים וסיכום הערות על GRPO. בנוסף מופיעה דוגמה לחילוץ מחירים מתפריט באיטלקית והדגמת וידאו שמבקשת לתאר את תוכן הסרטון.

מתאים ל

  • פתרון בעיות גיאומטריה

    מעלים שרטוט מתמטי ומבקשים חישוב שטח או ספירת פאות צעד אחר צעד.

  • הסבר תרשימים ודיאגרמות

    מזינים איור טכני ומקבלים פירוק של המבנה וההערות שמופיעות בו.

  • תיאור תוכן סרטוני וידאו

    מעלים קובץ וידאו קצר כדי לחלץ ממנו פירוט טקסטואלי של המתרחש.

איפה זה נופל

הבעיה המרכזית כרגע היא שהאפליקציה תקועה בשגיאת בנייה ולא מחזירה מענה. מעבר לכך, הקוד מוגדר לרוץ על חומרת מעבד בלבד, כך שגם אם השרת היה עולה, הרצת מודל של 16 מיליארד פרמטרים ועיבוד וידאו היו איטיים מאוד בהשוואה למאיץ גרפי ייעודי.

אותה משפחה

Ovis2 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

שאלות
נפוצות

האם האפליקציה זמינה כרגע לשימוש?

לא, הדף נמצא במצב BUILD_ERROR ולכן אי אפשר להריץ בו בדיקות כרגע. צריך להמתין שהמפתחים יתקנו את שגיאת הבנייה או להוריד את הקוד ולהריץ אותו בסביבה עצמאית.

האם אפשר להריץ את המודל במחשב מקומי?

כן, המודל והקוד פתוחים תחת רישיון apache-2.0 וזמינים להורדה. תצטרכו מחשב חזק עם מאיץ גרפי מתאים כדי להריץ מודל של 16 מיליארד פרמטרים וספריות תואמות כמו transformers ו־moviepy.

מה קורה עם הקבצים שאני מעלה לממשק?

התמונות וסרטוני הווידאו מועברים לשרת שמריץ את סקריפט ה־Gradio לצורך העיבוד של המודל. אין להעלות לשם חומרים רגישים או פרטיים, במיוחד בהדגמות ציבוריות כאלה.

במה הממשק הזה שונה מהרצת המודל ישירות?

הממשק עוטף את המודל בלוח צ'אט נגיש עם תמיכה בהצגת נוסחאות ובחירת דוגמאות מובנות. הוא חוסך כתיבת קוד עצמאי לטיפול בטעינת קובצי הווידאו והזרמת הטקסט.

איך מריצים

בוחרים בכפתורי הרדיו בין מצב תמונה למצב וידאו, גוררים את הקובץ המתאים, מקלידים שאלה ולוחצים על Send. הממשק כולל כפתור Clear לאיפוס השיחה, אך כרגע הוא מוגדר במצב של שגיאת בנייה BUILD_ERROR על מעבד בסיסי, כך שהוא אינו פועל בדפדפן.

pip install -U huggingface_hub
hf download ATH-MaaS/Ovis2-16B

הרישיון

הקוד והמודל משוחררים תחת רישיון apache-2.0, שמאפשר שימוש חופשי וגם מסחרי בכפוף לתנאי הרישיון. הקבצים והסרטונים שאתם מעלים נשלחים לעיבוד בשרת המארח של המרחב.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗