VideoLLaMA3

מה זה

הממשק מבוסס על המודל VideoLLaMA3-7B של DAMO-NLP-SG, שרץ כאן בתצורת שיחה מלאה. אתם מעלים קובץ וידאו או תמונה לצד שורת טקסט חופשית, והמערכת מחזירה תשובה שמפרקת את המתרחש בפריים או לאורך ציר הזמן.

בדוגמאות המוכנות יש סרטונים קצרים של דב, כלב ואימון כושר, עם שאלות מוגדרות מראש כמו תיאור מפורט של הסצנה, זיהוי חריגות או מעקב אחרי תנועות. מאחורי הקלעים הקוד שולף פריימים לפי הגדרת קצב, מעביר אותם דרך המעבד של המודל, ומזרים את התשובה כטקסט שנוצר בזמן אמת.

מתאים ל

• תיאור פעולות בווידאו

  העלאת קטעי פעילות ספורט או תנועה לקבלת פירוט שלבי הפעולה שהאדם מבצע.

• זיהוי חריגות בסרטון

  בדיקת אירועים לא שגרתיים בתוך צילומים קצרים באמצעות שאלות הכוונה בטקסט.

• ניתוח תמונות בודדות

  העלאת תמונה סטטית כדי לקבל תיאור מלא או תשובות ממוקדות על פרטים בתוכה.

איפה זה נופל

ההדגמה מוגבלת למודל של 7 מיליארד פרמטרים בלבד, והיא מוגבלת עד 256 פריימים לסרטון. סרטונים ארוכים ייחתכו או יידגמו בקצב נמוך מאוד, כך שפרטים קטנים או אירועים מהירים יאבדו בדרך. המודל עלול לפתח הזיות לגבי פרטים חזותיים מורכבים, ולא מומלץ להסתמך עליו למשימות שדורשות דיוק עובדתי מוחלט.

איך משתמשים

גוררים קובץ וידאו או תמונה לתיבת ההעלאה, מקלידים את השאלה בתיבת הטקסט ולוחצים על כפתור הייצור. אפשר לבחור גם באחת הדוגמאות הקיימות כדי לדלג על שלב ההעלאה.

העיבוד מתבצע על חומרת zero-a10g שמקצה משאבים בעת הבקשה, ולכן ייתכן עיכוב קל בהפעלה הראשונית אם השרת היה רדום. בלשונית ההגדרות אפשר לכוונן את קצב הפריימים לשנייה עד 10, את מגבלת הפריימים עד 256, ואת פרמטרי הדגימה, מה שמשפיע ישירות על עומק הניתוח וזמן ההמתנה לתשובה.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי ושינוי קוד המקור. הקבצים שאתם מעלים והטקסטים שנוצרים מעובדים דרך השרתים של Hugging Face בהתאם לתנאי השימוש הרגילים של התשתית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗