MMVU
קוד פתוחyale-nlpרישיון לא דווח2025-01-22
המאגר מרכז סרטונים ושאלות מומחה רב-תחומיות לבדיקת הבנת וידאו מורכבת. הוא מיועד למי שרוצה לבחון יכולות הסקת מסקנות מתקדמות של מודלי וידאו בתחומים מדעיים ומקצועיים.
- 4,087הורדות בחודש
- 59לייקים
מה זה
במאגר יש 3,000 שאלות ותשובות שנכתבו על ידי מומחים, המבוססות על 1,529 סרטוני וידאו ייעודיים. התוכן מכסה 27 נושאים שונים מתוך ארבעה תחומים מרכזיים: מדעים מדויקים, רפואה ובריאות, מדעי הרוח והחברה, והנדסה. הסרטונים מציגים תהליכים מורכבים כמו ניסויים כימיים, פעולות רפואיות ושלבי עבודה הנדסיים.
הרשומות מגיעות בפורמט של שאלות פתוחות או שאלות רב-ברירה. כל רשומה מכילה מזהה, קישור לקובץ הווידאו, כתובת יוטיוב מקורית, שאלה, אפשרויות בחירה ותשובה. בנוסף קיים שדה מטא-דטה שכולל את נושא השאלה ואת ספר הלימוד שממנו נלקח המידע. קובץ הנתונים הזמין במאגר מוגדר כסט ולידציה, בעוד סט המבחן נותר חסוי לציבור כדי למנוע זליגת מידע למודלים.
מתאים ל
- בנצ'מרק למודלי וידאו
בדיקת יכולת המודל לענות על שאלות אמריקאיות ושאלות פתוחות מורכבות שמבוססות על צפייה בווידאו מקצועי.
- הערכת הסקת מסקנות מדעית
מדידת הדיוק של מודלים בהבנת תהליכים הנדסיים, רפואיים וכימיים המוצגים ברצף זמני.
- השוואת ביצועי מנועי הרצה
בחינת זמני תגובה ודיוק של מודלים שונים בעבודה עם קובצי וידאו דרך vLLM מול ממשקי API חיצוניים.
איפה זה נופל
המאגר כולו באנגלית ונשען על ספרי לימוד וסרטוני יוטיוב באנגלית, כך שהוא לא רלוונטי לבדיקת הבנה בעברית. שדות מסוימים במטא-דטה, כמו נימוקי התשובות וקישורי ויקיפדיה להרחבת הידע, מסומנים ככאלה שיתווספו רק בהמשך. בנוסף, סט המבחן המלא אינו זמין להורדה עצמאית, כך שכדי לקבל ציון רשמי בלוח התוצאות צריך לפנות במייל לצוות הפיתוח ולשתף את קוד ההרצה.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מסחרי?
לא מומלץ בכלל. המאגר פורסם ללא הגדרת רישיון, ומכיל סרטונים שנאספו מיוטיוב לצד תוכן מספרי לימוד. ללא רישיון מפורש שמתיר זאת, שימוש מסחרי עלול להפר זכויות יוצרים.
האם יש במאגר תמיכה בעברית?
אין במאגר שום תוכן בעברית. השאלות, התשובות, ספרי הלימוד והסרטונים מתבססים כולם על השפה האנגלית.
איך אפשר לבדוק את המודל על סט המבחן?
סט המבחן אינו פתוח להורדה כדי למנוע זיהום של הנתונים. כדי להיבדק עליו, צריך לפנות במייל לצוות בייל ולשלוח להם את הקוד ששימש אתכם להרצה על סט הוולידציה.
מה מבדיל את המאגר הזה ממאגרי וידאו רגילים?
רוב המאגרים בודקים פעולות יומיומיות פשוטות. כאן הדגש הוא על ידע מקצועי ברמת מומחה ב־27 תחומים אקדמיים, המחייב שילוב בין הבנת רצף הזמן בווידאו לבין ידע תאורטי מספרות מקצועית.
איך טוענים
העבודה מול המאגר מתבצעת דרך הורדת קובץ validation.json יחד עם תיקיית הסרטונים, שכוללת מאות קובצי mp4 בחלוקה לפי תחומים. המאגר פתוח להורדה ישירה ואינו דורש אישור גישה מקדים. הרצת הבדיקות דורשת התקנת תלויות דרך קובץ הדרישות של הפרויקט, כאשר היוצרים מספקים סקריפטים מוכנים להרצה דרך ממשקי API, ספריית transformers של HuggingFace, או vLLM לתמיכה בקלט וידאו ותמונות מרובות. הערכת התוצאות נשענת על סקריפט ייעודי שמחשב דיוק.
from datasets import load_dataset
ds = load_dataset("yale-nlp/MMVU")הרישיון
היוצרים לא דיווחו על רישיון שימוש במאגר. מצב כזה משאיר את זכויות היוצרים עמומות לחלוטין. אסור להניח שמותר להשתמש בו לצרכים מסחריים, לאימון מודלים פנימיים בחברות או להפצה מחדש, וכל שימוש כזה חושף אתכם לסיכון משפטי עד שהחוקרים יבהירו את תנאי הרישוי.