VideoChat3-Academic2M
קוד פתוחMCG-NJUapache-2.02026-07-05
מאגר הוראות וידאו שמבוסס על שכתוב והרחבה של מאגרים אקדמיים קיימים. הוא מתאים למי שמאמן מודלים לניתוח וידאו ומחפש תשובות מנומקות במקום תוויות קצרות.
- 2,991הורדות בחודש
- 24לייקים
מה זה
המאגר מאגד נתונים משישה מקורות אקדמיים שונים: LLaVA-Video, Spoken-MIT, Vript, StarQA, Sports-QA ו־Perception-Test. הוא מתמקד במשימות של תיאור וידאו, מענה על שאלות והבנת תנועה מפורטת. הרשומות מגיעות בצורת קובצי JSONL שמכילים את ההוראות והתשובות המשוכתבות, לצד קובץ מיפוי בשם acadmic2M.json שמקשר בין התיוגים לבין הסרטונים המקוריים.
תהליך העבודה לקח תוויות קצרות, תשובות של ברירה מרובה ותיאורים מתומצתים מהמקורות, ושכתב אותם לפורמט של מענה מפורט. התשובות החדשות כוללות התייחסות מפורשת לאובייקטים שנראים בעין, לפעולות, לרקע, לרמזים בציר הזמן ולראיות שתומכות בקביעה. לאחר השכתוב, הנתונים עברו סינון עקביות כדי לוודא שההרחבות לא סוטות מהתוכן של התוויות המקוריות. המאגר עצמו אינו כולל את רוב קובצי הווידאו המקוריים, למעט קובצי ה־tar של S-MiT שהועלו ישירות למאגר.
מתאים ל
- אימון הבנת תנועה ופעולות
לימוד מודלים לזהות פעולות ספורט וסצנות דינמיות על בסיס נתוני Sports-QA ו־StarQA.
- כוונון מענה על שאלות וידאו
שיפור היכולת של מודלים לענות על שאלות לגבי וידאו תוך מתן נימוקים וראיות מתוך הסצנה.
- יצירת תיאורי וידאו עשירים
אימון מודלים להפקת כתוביות מפורטות שמציינות אובייקטים, זמנים ופרטים ויזואליים מדויקים.
איפה זה נופל
המאגר מוגבל לשפה האנגלית בלבד, ואין בו שום תמיכה מובנית בעברית. רוב הווידאו עצמו לא מאוחסן במאגר, מה שדורש הורדה וסנכרון של חבילות מדיה מכמה מקורות שונים, שלא כולם יושבים בהאגינג פייס. איכות התיוג תלויה בסינון האוטומטי שהחוקרים ביצעו על השכתובים, כך שעדיין ייתכנו חוסר דיוקים בפירוט הראיות מול הווידאו המקורי.
שאלות
נפוצות
האם המאגר כולל את כל קובצי הווידאו עצמם?
לא, המאגר מספק בעיקר קובצי JSONL של תיוגים ושכתובים, וקובץ מיפוי בשם acadmic2M.json. הווידאו היחיד שנמצא במאגר הוא של S-MiT בקובצי tar, ואת שאר הסרטונים צריך להוריד ישירות מהמקורות החיצוניים.
האם יש במאגר נתונים בעברית?
לא. כל הנתונים, התיוגים והשאלות במאגר מוגדרים באנגלית בלבד. כדי לעבוד איתו בעברית תצטרכו לתרגם את הטקסטים בעצמכם או להסתמך על מודל שתומך בריבוי שפות.
האם מותר להשתמש במאגר לצרכים מסחריים?
הרישיון המוצהר בהאגינג פייס הוא apache-2.0, שמתיר שימוש מסחרי בכפוף לייחוס מתאים. עם זאת, הנתונים והסרטונים נשענים על מקורות אקדמיים חיצוניים, ולכן חובה לוודא שרישיונות המקור של אותם סרטונים אינם מגבילים שימוש מסחרי.
איך נוצרו התיוגים המורחבים במאגר?
החוקרים לקחו תוויות קצרות ומענים קיימים ממאגרים אקדמיים, ושכתבו אותם לתשובות מפורטות שכוללות אובייקטים, רמזי זמן וראיות מתוך הסרטון. לאחר השכתוב הופעל שלב של סינון עקביות כדי למנוע סתירות מול המקור.
איך טוענים
המאגר מכיל 57 קבצים בהאגינג פייס ופתוח להורדה ישירה ללא צורך באישור גישה. ההוראות שמורות בפורמט JSONL, לצד קובץ המיפוי acadmic2M.json שמגדיר את הקשר בין התיוגים לסרטונים. רוב קובצי הווידאו לא נמצאים כאן, ולכן תצטרכו להוריד אותם עצמאית מהמקורות המקוריים לפי הקישורים המצורפים, חוץ מסרטוני S-MiT שמופיעים במאגר בחלוקה לקובצי tar.
from datasets import load_dataset
ds = load_dataset("MCG-NJU/VideoChat3-Academic2M")הרישיון
המאגר משוחרר ברישיון apache-2.0, שמאפשר שימוש חופשי וגם מסחרי, ואינו דורש שיתוף באותו רישיון. עם זאת, היוצרים מבקשים לתת קרדיט למאמר של VideoChat3 וגם למאגרי הווידאו המקוריים. חשוב לזכור שחלק מסרטוני המקור מגיעים ממאגרים חיצוניים עם תנאי שימוש משלהם, ויש לבדוק את הרישיונות שלהם בנפרד לפני אימון מודל לשימוש מסחרי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים