VideoInstruct-100K
קוד פתוחMBZUAIcc-by-sa-4.02023-09-29
שיחות ושאלות ותשובות על גבי וידאו לאימון מודלי ראייה ושפה. המטרה היא ללמד מודל לתאר מה קורה בציר הזמן ולא רק בתמונה בודדת.
- 282הורדות בחודש
- 49לייקים
מה זה
המאגר מציע מאגר של שיחות סביב תוכן וידאו, שנוצר בשילוב של תיוג חצי אוטומטי ובקרה אנושית. הנתונים מתרכזים בשלושה תחומים מרכזיים, וכוללים סיכומי וידאו, שאלות ותשובות מבוססות תיאור שבוחנות יחסים בזמן ובמרחב והסבר סיבתי, וגם משימות יצירתיות או גנרטיביות שקשורות לסרטון.
התוכן עצמו נבנה במסגרת העבודה על פרויקט Video-ChatGPT שפורסם במקור באמצע 2023. התיעוד הישיר בעמוד המאגר דל מאוד, ומפנה לגיטהאב של הפרויקט כדי ללמוד על אופן יצירת הנתונים. המידע מחולק בקובץ טקסטואלי שמכיל את חילופי הדברים, ללא קובצי הווידאו המקוריים עצמם בתוך הדף הנוכחי.
מתאים ל
- אימון הבנת וידאו
כוונון של מודלי שפה וראייה למענה על שאלות שמערבות רצף זמני בווידאו.
- סיכום סרטונים אוטומטי
לימוד מודל לחלץ תקציר ענייני מתוך פעולות שמתרחשות בסרטון.
- הערכת הסקה בזמן ומרחב
בדיקת יכולת המודל לקשר בין אובייקטים והתרחשויות לאורך ציר הזמן.
איפה זה נופל
הכרטיס כמעט ריק מפרטים טכניים מהותיים. אין שום תיעוד של שפות מלבד אנגלית, כך שאין כאן עברית בכלל. לא מצוין מה מקור הסרטונים הראשוני, כמה שעות צפייה יש פה, ומה היו הסינונים שהופעלו נגד רעש או הטיות בתיוג האוטומטי. צריך לחפור בקוד החיצוני לפני שסומכים על זה.
שאלות
נפוצות
האם המאגר מכיל את קובצי הווידאו עצמם?
לא, המאגר כולל רק שלושה קבצים, והעיקרי שבהם הוא קובץ ה־JSON שמכיל את השיחות והשאלות. כדי להשתמש בו לאימון מלא, תצטרכו להוריד את קובצי המקור לפי ההפניות בקוד של הפרויקט.
האם יש בדאטהסט תמיכה בעברית?
הדאטהסט מבוסס על אנגלית בלבד. אין בו דוגמאות בעברית ולא תועדה בו שום התאמה לשפות אחרות.
האם מותר להשתמש בו לאימון מודל מסחרי?
הרישיון מאפשר שימוש מסחרי עקרונית, אך הוא כולל סעיף שיתוף זהה (ShareAlike). המשמעות היא ששחרור של הדאטהסט או נגזרות שלו מחייב את אותו הרישיון, מה שעלול לחשוף אתכם לסיכון משפטי אם אתם מתכוונים לסגור את המודל.
איך טוענים
טוענים את קובץ הנתונים VideoInstruct100K.json ישירות מהעמוד או בעזרת ספריית datasets, ואין כאן שום דרישה לטופס גישה מיוחד. המאגר עצמו כולל שלושה קבצים בלבד. לפני שמתחילים לאמן, תצטרכו להבין איך למפות את השאלות והתשובות מתוך הקובץ לסרטונים עצמם, שאינם מאוחסנים ישירות כאן.
from datasets import load_dataset
ds = load_dataset("MBZUAI/VideoInstruct-100K")הרישיון
הרישיון הוא cc-by-sa-4.0. מותר להשתמש בזה למטרות מסחריות, אבל אתם חייבים לתת קרדיט ליוצרים, ואם אתם משנים את הנתונים או מפיצים אותם הלאה, חובה לשחרר את התוצאה תחת אותו רישיון בדיוק. זה רישיון מדבק, ומשפטנים מתווכחים אם הוא חל גם על משקולות של מודל שאומן עליו.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון