OmniVideo-100K
קוד פתוחMiG-NJUapache-2.02026-06-14
המאגר כולל סרטונים מיוטיוב לצד שאלות ותשובות שנוצרו אוטומטית. הוא מיועד למי שמאמן מודלים רב-מודאליים על משימות של הסקת מסקנות וסדר אירועים לאורך זמן.
- 1,031הורדות בחודש
- 18לייקים
מה זה
הנתונים נשענים על 5,214 סרטונים מיוטיוב ברזולוציה של 480p ומעלה, כולם באנגלית. היוצרים סיננו סרטונים דלילים בתנועה או במילים והסירו כתוביות מובנות בעזרת כלי OCR כדי למנוע קיצורי דרך של המודל. מתוך הסרטונים האלה הופקו שאלות ותשובות דרך סדרת Gemini בשני שלבים, תחילה פירוק לתסריט מובנה עם ישויות וזמנים, ולאחר מכן הפקת שאלות על בסיס שרשראות רמזים בין מקטעים שונים.
התוכן מחולק ל־70K שאלות פתוחות ו־30K שאלות אמריקאיות. המשימות מסווגות לעשר קטגוריות שנפרסות על פני תפיסה בסיסית, הבנה סמנטית והסקה לוגית, כמו סיבתיות, ניבוי עתיד וסידור כרונולוגי של אירועים. יש במאגר גם קובץ תסריטים מובנים לכל סרטון ושני פורמטים מוכנים מראש לאימון.
מתאים ל
- אימון הוראות לווידאו וקול
כוונון ישיר של מודלים רב-מודאליים על שאלות פתוחות ושאלות ברירה מרובה לפי פורמט ההוראות המצורף.
- הסקת מסקנות מבוססת ראיות
אימון מודל לעקוב אחרי רמזים במקטעי זמן שונים לאורך סרטון במקום להסתמך רק על תמונה בודדת.
- סידור אירועים כרונולוגי
לימוד זיהוי רצף פעולות והתפתחות עלילתית בזמן על בסיס משימות הסידור המובנות בדאטהסט.
איפה זה נופל
כל הסרטונים באנגלית בלבד ומגיעים רק מיוטיוב, כך שאין כאן מגוון שפות או ייצוג לעברית. בנוסף, כל השאלות, התשובות והתסריטים נוצרו על ידי מודלים מסדרת Gemini ולא נבדקו ידנית, בניגוד לסט הבדיקה הנפרד OmniVideo-Test שכן עבר אימות אנושי. אם המודל שיצר את הנתונים טעה בהבנת התמונה או הקול, השגיאות האלה נמצאות ישירות בתוך האימון שלכם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
המאגר עצמו מופץ תחת רישיון apache-2.0 שמתיר שימוש מסחרי. עם זאת, הסרטונים עצמם נאספו מיוטיוב, ולכן כדאי לבדוק את ההשלכות המשפטיות לגבי החזקת קובצי המקור ושימוש בהם.
האם יש בדאטהסט תמיכה בעברית?
לא. הדאטהסט כולל אך ורק סרטונים עם דיבור באנגלית, והשאלות והתשובות מנוסחות באנגלית בלבד.
באיזה אופן נוצרו השאלות והתשובות?
הפקת הנתונים נעשתה בצורה אוטומטית בעזרת סדרת מודלי Gemini. התהליך כלל הפקת תסריט מובנה עם עוגני ישויות לכל סרטון, ולאחר מכן חילוץ רמזים בין מקטעים שונים כדי לבנות שאלות שמחייבות הבנה רציפה לאורך הסרטון.
מה ההבדל בין קובצי הנתונים השונים במאגר?
המאגר מציע קובצי raw שכוללים ניתוח מלא של הראיות וחותמות הזמן, לצד קובצי formatted שמכילים קלט ופלט מוכנים מראש לאימון הוראות. בנוסף יש קובץ תסריטים מובנה scripts.jsonl וארכיונים של הסרטונים הגולמיים.
איך טוענים
המאגר כולל 17 קבצים ללא דרישת הרשאה מיוחדת. הסרטונים עצמם מפוצלים לקובצי ארכיון תחת videos.tar.part_xx, ולצדם יושבים קובצי jsonl של שאלות פתוחות ושאלות אמריקאיות, הן בגרסה גולמית והן בגרסה מפורמטת להוראות. רשומת נתונים גולמית כוללת מזהי וידאו ושאלה, נתיב מקומי, רזולוציה, שפת דיבור, משימה, שאלה, תשובה, וניתוח של שרשראות הראיות עם חותמות זמן.
from datasets import load_dataset
ds = load_dataset("MiG-NJU/OmniVideo-100K")הרישיון
הרישיון המדווח במאגר הוא apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה, ואינו מחייב שיתוף של תוצרי המודל תחת אותו רישיון, כל עוד שומרים על הודעות זכויות היוצרים ומצרפים את כתב הוויתור.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים