Oryx

מה זה

אתם מעלים קובץ תמונה או סרטון וידאו בפורמט mp4 וכותבים שאלה או הנחיה בתיבת הטקסט המשולבת. בתגובה, הממשק מחזיר תשובה כתובה שמנתחת את מה שקורה בקובץ, כולל התייחסות לפרטים חזותיים ולרצף הזמני בווידאו.

מאחורי הקלעים רץ המודל Oryx-1.5-7B, שמיועד להבנה מרחבית וזמנית ברזולוציות משתנות. לצדו רכיבים נוספים כמו CLIP לעיבוד תמונה, מודלי BERT של גוגל ו־OPT, שפועלים יחד כדי לפענח את הפריימים ולחבר את התשובה.

הממשק כולל דוגמאות מובנות שמציגות ניתוח של תמונות ברזולוציה גבוהה וקטעי וידאו קצרים.

מתאים ל

• ניתוח סרטוני וידאו

  העלאת קובץ mp4 ושאילת שאלות על אירועים שמתרחשים לאורך ציר הזמן בקטע.

• שאילתות על תמונות חדות

  בדיקת פרטים קטנים ומורכבים בתוך תמונות ברזולוציה גבוהה באמצעות המודל.

• בחינת יכולות מולטימדיה

  השוואת ביצועי הראייה וההבנה של Oryx-1.5-7B מול מודלים פתוחים אחרים.

איפה זה נופל

הקוד מגביל את סוגי הווידאו לקובצי mp4 בלבד, כך שפורמטים אחרים לא יעלו ללא המרה. בנוסף, עיבוד סרטונים ארוכים או קבצים כבדים מאוד עלול להיכשל או להאט בגלל מגבלות זיכרון על מעבד A10G יחיד. הממשק מדגים תשובות על קטעים קצרים ומוגדרים, ולא מיועד למשימות זמן אמת או להזרמת וידאו רציפה.

איך משתמשים

נכנסים לממשק ולוחצים על תיבת הטקסט הרב מודלית כדי לטעון קובץ תמונה או וידאו מסוג mp4. מקלידים את השאלה או בוחרים באחת הדוגמאות המוכנות מראש, ולוחצים על שליחה כדי להפעיל את המודל.

ההרצה מתבצעת על חומרת zero-a10g דרך תשתית spaces, כך שהמעבד הגרפי מוקצה לפי דרישה. זה אומר שאם השרת קר תצטרכו להמתין שניות בודדות עד שהכרטיס יתעורר, ובשעות עומס ייתכן תור קצר, אבל עיבוד תמונה רגילה מסתיים בדרך כלל תוך זמן קצר מרגע שהמאיץ פועל.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמתיר שימוש חופשי, שינוי קוד והפצה מסחרית. הקבצים שאתם מעלים והפלט שנוצר מעובדים על שרתי הדמו, ולכן אין להעלות לשם חומר רגיש או פרטי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗