VideoFeedback

מה זה

המאגר כולל 37.6 אלף זוגות של פרומפטים מילוליים וסרטונים שנלקחו מ־11 מודלים פופולריים ליצירת וידאו, לצד סרטונים אמיתיים שנועדו להרחבת המידע. מעריכים אנושיים בדקו כל סרטון ונתנו ציונים בסולם של 1 עד 4 בחמישה ממדים שונים: איכות חזותית, עקביות לאורך זמן, רמת דינמיות ותנועה, התאמה בין הטקסט לווידאו, ועקביות עובדתית מול הפרומפט.

הנתונים מחולקים למערכי אימון ובדיקה בפורמט Parquet, לצד קובצי ארכיון שמכילים את הווידאו עצמו ופריימים מחולצים. כל רשומה כוללת מזהה ייחודי, פרומפט טקסטואלי, קישור לווידאו, תמונות, שיחות, ואת חמשת ציוני ההערכה האנושיים.

מתאים ל

• אימון מדדי הערכה

  אימון מודלים שמנבאים איכות ועקביות של סרטונים שנוצרו על ידי בינה מלאכותית לפי פידבק אנושי.

• בנצ'מרק למודלי יצירה

  בדיקה והשוואה של מודלי טקסט לווידאו מול מערך נתוני מבחן מגוון המכיל ציונים ידועים מראש.

• סינון דאטה לאימון

  הפעלת מודל שסונן על הציונים כדי לברור רק סרטונים באיכות גבוהה עבור אימון מודלים גנרטיביים.

איפה זה נופל

כל הטקסטים והפרומפטים במאגר מופיעים באנגלית בלבד, כך שמי שבונה מודל ייעודי לעברית יצטרך לתרגם או לאסוף מידע משלו. בנוסף, הסרטונים מבוססים על 11 מודלי גנרציה שהיו נפוצים עד אפריל 2024. תחום הווידאו מתקדם בקצב מהיר, ולכן ארטיפקטים ומאפיינים שמופיעים בדאטהסט עלולים לא לייצג מודלים חדשים יותר.

איך טוענים

טוענים את הנתונים דרך ספריית datasets באמצעות הנתיב TIGER-Lab/VideoFeedback עם הגדרת הקונפיגורציה והפיצול הרצוי, כמו annotated ו־test. המאגר ציבורי ופתוח להורדה ישירה בלי צורך בטופסי בקשה או אישור גישה מוקדם. יש לקחת בחשבון שמלבד קובצי הטבלאות בפורמט Parquet, המאגר כולל 26 קבצים ובהם ארכיוני zip של קובצי וידאו ופריימים, דבר שדורש מקום אחסון משמעותי.

from datasets import load_dataset

ds = load_dataset("TIGER-Lab/VideoFeedback")

הרישיון

המאגר מופץ תחת רישיון apache-2.0, שמתיר שימוש מסחרי, מחקרי, שינוי והפצה של המידע והקוד. הדרישה העיקרית היא מתן קרדיט וייחוס מתאים ליוצרים, ושמירה על תנאי הרישיון המקוריים בכל עותק או יצירה נגזרת.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗