MMR-VBench

מה זה

המאגר מיועד להערכת מודלים מולטימודליים במשימות וידאו לטקסט, וכולל 317 סרטונים יחד עם 1,257 משימות שונות. הרעיון כאן הוא לבחון הסקה עמוקה שמבוססת על מידע ויזואלי המפוזר על פני ציר הזמן, במקום משימות הבנה רגילות שבהן המודל רק מתאים פריים ספציפי לשאלה או מביט בכמה פריימים צמודים. המשימות דורשות ניתוח של מידע ויזואלי מחלקים שונים של הסרטון ואיתור ראיות על פני רצפים ארוכים.

הטקסטים והשאלות במאגר מנוסחים באנגלית, והוא מוגדר כמבחן ביצועים להערכה שמחולק לקובץ בדיקה יחיד. הכרטיס לא מפרט מאיזה מקורות צולמו או נאספו הסרטונים בפועל, ואין פירוט על תהליך הסינון או הבקרה האנושית שנעשתה עליהם, מעבר לכך שהם נבחרו כדי לאתגר יכולות הסקה רב שלביות של מודלים חדשים.

מתאים ל

• הערכת מודלי וידאו

  בדיקת יכולת המודל להסיק מסקנות מורכבות על בסיס חיבור ראיות מפריימים שונים.

• בחינת שימוש בכלים

  מדידת ביצועים של מודלים שנעזרים בכלים חיצוניים לאיתור ראיות לאורך סרטון.

• השוואת מודלים מולטימודליים

  הרצת מבחן אחיד כדי להשוות יכולות חשיבה בווידאו בין מודלים מתחרים.

איפה זה נופל

המאגר מגיע באנגלית בלבד ואין בו שום תמיכה או התייחסות לעברית. מעבר לכך, יש פה חוסר שקיפות מוחלט לגבי מקור הסרטונים, זכויות היוצרים על חומרי הווידאו עצמם, או הטיות בתוכן. הוא כולל רק 317 סרטונים ולכן הוא כלי הערכה נקודתי ולא בסיס לאימון רחב.

איך טוענים

טוענים את נתוני הבדיקה ישירות דרך ספריית הדאטהסטים באמצעות הפקודה load_dataset עם פיצול הבדיקה test, שיושב בקובץ פרקט יחיד. כדי לקבל את הסרטונים עצמם צריך להוריד את המאגר באמצעות כלי שורת הפקודה של המערכת, לאחד קבצי ארכיון מפוצלים באמצעות פקודת שרשור בקונסולה, ואז לחלץ אותם מקובץ הארכיון המאוחד. אין צורך באישור גישה מיוחד כדי להוריד את הקבצים.

from datasets import load_dataset

ds = load_dataset("JokerJan/MMR-VBench")

הרישיון

במטא דאטה של המאגר הרישיון מסומן כלא דווח, אבל בתוך הטקסט של הכרטיס הצוות מציין רישיון CC-BY 4.0. חוסר ההתאמה הזה מחייב זהירות. אם הרישיון הוא אכן ייחוס בלבד, שימוש מסחרי מותר כל עוד נותנים קרדיט, אך ללא בדיקת מקור הסרטונים עצמם קשה לדעת אם אין עליהם מגבלות צד שלישי.

הרישיון המלא ב־Hugging Face ↗