movie_gen_video_bench
קוד פתוחmeta-ai-for-media-researchרישיון לא דווח2024-10-17
המאגר כולל 1003 פרומפטים מגוונים לבדיקת מודלי וידאו, לצד סרטונים שנוצרו על ידי Movie Gen להשוואה ישירה. הוא נועד למי שרוצה להעריך ביצועי יצירת וידאו מול תוצאות של מטא.
- 462הורדות בחודש
- 29לייקים
מה זה
מטא שחררה כאן בנצ'מרק שכולל 1003 פרומפטים באנגלית שמיועדים לבחינת מודלים של יצירת וידאו. הטקסטים מכסים חמש קטגוריות עיקריות: פעילות אנושית כמו תנועות גוף והבעות פנים, בעלי חיים, טבע ונופים, פיזיקה מורכבת שכוללת התנגשויות ונוזלים, ונושאים חריגים. בנוסף, הדוגמאות מחולקות לפי שלוש רמות תנועה, מנמוכה ועד גבוהה.
המאגר מחולק לשני חלקים שונים. החלק הראשון מכיל רק את הפרומפטים להרצה מהירה של המודל שלכם. החלק השני כולל את הפרומפטים יחד עם קובצי הווידאו שהופקו ישירות על ידי Movie Gen, ללא סינון ידני של התוצאות הטובות ביותר, כדי לאפשר השוואה ישירה מול הביצועים של מטא.
מתאים ל
- הערכת מודל מול מטא
הרצת הפרומפטים על המודל שלכם והשוואה חזותית מול קובצי הווידאו שייצר Movie Gen באותם תנאים בדיוק.
- בדיקת תנועה מורכבת
בחינת יכולת המודל לייצר דינמיקה פיזיקלית קשה כמו זרימת נוזלים, התנגשויות או תנועות גוף מהירות.
- בנצ'מרק אוטומטי
שימוש בחלק שמכיל טקסט בלבד כדי להריץ מבחני איכות עקביים על גרסאות שונות של מודלי וידאו בפיתוח.
איפה זה נופל
המאגר כתוב כולו באנגלית בלבד, כך שאין שום ייצוג לעברית או לשפות אחרות. הוא מכיל 1003 דוגמאות בלבד, כמות שמתאימה להערכה ולבדיקה אבל לא תספיק לאימון של מודל יצירה מאפס. בנוסף, הכרטיס אינו מפרט כיצד נכתבו הפרומפטים במקור או אם נבדקו הטיות חברתיות בתיאורי הדמויות, ולכן יש לבדוק ידנית את התכנים לפני שמסתמכים עליהם בהערכת מודל שמיועד להפצה מסחרית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא, המאגר מוגדר תחת רישיון CC-BY-NC שמגביל את השימוש למחקר לא מסחרי בלבד. אם אתם מפתחים מוצר שמייצר הכנסה או מודל שיימכר ללקוחות, החומרים האלה לא מתאימים לכם מבחינה משפטית.
כמה המאגר שוקל וכמה זמן לוקח להוריד אותו?
החלק שכולל טקסט בלבד שוקל מעט מאוד ויורד תוך שניות בודדות דרך קובץ parquet יחיד. לעומת זאת, הגרסה שכוללת את הסרטונים המוכנים מורכבת מ־33 קבצים שונים ועשויה לקחת זמן רב להורדה, ולכן מומלץ להשתמש באפשרות streaming בקוד כדי לדגום אותה.
האם יש במאגר פרומפטים בעברית?
לא, כל 1003 הפרומפטים מנוסחים באנגלית בלבד. אם המודל שלכם מיועד לעבוד עם פקודות בעברית, תצטרכו לתרגם את הטקסטים בעצמכם או לבנות סט בדיקה נפרד שמתאים לשפה.
מה מקור הנתונים ואיך הם נאספו?
מטא יצרה את רשימת הפרומפטים כדי לבחון היבטים מוגדרים של יצירת וידאו כמו פיזיקה, תנועות אנושיות ונופים. הסרטונים עצמם הופקו ישירות על ידי מודל Movie Gen של מטא ושוחררו ללא סינון ידני כדי להציג את הביצועים המקוריים שלו.
איך טוענים
טוענים את הנתונים דרך ספריית datasets באמצעות הפקודה load_dataset עם המזהה של המאגר. הקבצים שמורים בפורמט parquet ומחולקים ל־36 קבצים, כאשר החלק שכולל את הסרטונים עצמם דורש נפח אחסון משמעותי ומחולק ל־33 קובצי משנה. אין צורך באישור גישה מיוחד כדי להוריד. השדות המרכזיים ברשומות הם prompt שמכיל את הטקסט, ובחלק המורחב גם שדה video שמכיל את נתוני הווידאו הגולמיים בפורמט שניתן לשמור ישירות כקובץ mp4.
from datasets import load_dataset
ds = load_dataset("meta-ai-for-media-research/movie_gen_video_bench")הרישיון
בעמוד המאגר מופיע שהרישיון לא דווח, אך בגוף הטקסט נכתב שהשימוש הוא תחת רישיון CC-BY-NC. המשמעות היא שהשימוש מוגבל למטרות מחקר בלבד ואסור לחלוטין לשימוש מסחרי. לא תוכלו להשתמש בסרטונים או בפרומפטים כדי לבנות, לשפר או לאמן מוצר שמיועד למכירה.