MSR-VTT
קוד פתוחfriedrichorרישיון לא דווח2025-02-28
עשרת אלפים קטעי וידאו עם מאתיים אלף תיאורים באנגלית. המאגר הזה משמש כבנצ'מרק מרכזי לחיבור בין טקסט לווידאו, בעיקר למשימות אחזור.
- 2,473הורדות בחודש
- 18לייקים
מה זה
המאגר כולל עשרת אלפים קטעי וידאו ומאתיים אלף כיתובים באנגלית, כלומר בממוצע עשרים תיאורים שונים לכל סרטון. הנתונים מיועדים למשימות כמו אחזור וידאו לפי טקסט, יצירת וידאו מטקסט וסיווג. המבנה כאן מתבסס על החלוקה המקובלת בתחום לפי פרוטוקול 1K-A שהוגדר במחקר JSFusion.
בחלוקה לאימון תמצאו שתי אפשרויות שונות. הראשונה מכילה 7,010 סרטונים עם 140,200 כיתובים, והשנייה מרחיבה את האימון ל־9,000 סרטונים ו־180,000 כיתובים. קבוצת הבדיקה מכילה 1,000 סרטונים ו־1,000 כיתובים, ביחס של תיאור יחיד לסרטון. הכרטיס לא מפרט כיצד הסרטונים המקוריים נאספו, מאיזה מקורות הגיעו או באילו שיטות בוצע הסינון.
מתאים ל
- הערכת אחזור וידאו
בדיקת יכולת המודל לאתר את הסרטון הנכון מתוך אלף סרטונים באמצעות שאילתת טקסט באנגלית.
- אימון מודלי הצלבה
אימון מערכות לחיבור בין טקסט לווידאו תוך שימוש בריבוי הכיתובים לכל סרטון בחלוקות האימון.
- סיווג וידאו
זיהוי פעולות ותכנים בסרטונים קצרים על בסיס התיאורים והנתונים המצורפים בקובצי המאגר.
איפה זה נופל
כל הטקסט במאגר כתוב באנגלית בלבד, כך שאין כאן שום תמיכה ישירה בעברית או בשפות נוספות. מקור הנתונים הראשוני מגיע ממאמר שפורסם עוד בשנת 2016, ולכן איכות הווידאו והתוכן משקפים תקופה ישנה יותר ברשת. הכרטיס לא מציין הטיות מפורשות בתוכן ולא מסביר איך נבחרו הסרטונים, מה שמחייב בדיקה ידנית לפני שמשלבים אותו במערכת אמיתית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מסחרי?
הרישיון של המאגר לא דווח בדף הנתונים. ללא רישיון מפורש, אין אישור חוקי לבנות עליו מוצרים מסחריים או להפיץ מודלים שאומנו עליו. אם אתם עובדים בחברה, עדיף להגביל את השימוש להערכה פנימית בלבד.
האם יש במאגר סרטונים או כיתובים בעברית?
לא, המאגר מוגדר לשפה האנגלית בלבד. כל מאתיים אלף הכיתובים נכתבו באנגלית ואינם כוללים תרגום. לפיתוח בעברית תצטרכו לתרגם את הטקסטים בעצמכם או להשתמש במאגר אחר.
איך מחולקים קובצי המאגר?
המאגר כולל קובץ זיפ יחיד שמכיל את כל קטעי הווידאו, לצד קובצי ג'ייסון ו־CSV שמחלקים את המטא-דאטה. קיימת חלוקה מובנית לסט אימון של שבעה אלפים או תשעה אלפים סרטונים, וסט בדיקה של אלף סרטונים. המבנה מאפשר להוריד את קובצי הטקסט בנפרד לצורך בדיקת המטא-דאטה.
איך טוענים
המאגר ציבורי ואינו דורש אישור גישה מראש. הוא מכיל 12 קבצים, כולל ארכיון מכווץ של הסרטונים עצמם בשם MSRVTT_Videos.zip לצד קובצי מידע ומטא-דאטה בפורמטים של JSON ו־CSV. בין הקבצים תמצאו את החלוקות המוכנות לאימון ולבדיקה, כמו msrvtt_train_7k.json ו־msrvtt_test_1k.json, וכן נתונים גולמיים בתיקיית raw_data. לפני שמתחילים להוריד, קחו בחשבון שמדובר בארכיון וידאו שלם שמחייב נפח אחסון מקומי ורוחב פס מתאים לפריקה ולטעינת הקבצים.
from datasets import load_dataset
ds = load_dataset("friedrichor/MSR-VTT")הרישיון
המעלה לא דיווח על רישיון שימוש במאגר הזה. בהיעדר רישיון מוגדר, מבחינה משפטית אין היתר ברור לשימוש מסחרי, הפצה מחדש או אימון מודלים שמיועדים למוצר. מומלץ להתייחס אליו ככלי למחקר והערכה אקדמית בלבד, או לפנות למחברי המאמר המקורי כדי לברר את תנאי השימוש החוקיים.