PLM-Video-Human
קוד פתוחfacebookcc-by-4.02025-03-28
המאגר כולל מיליוני תיוגים אנושיים להבנת וידאו מפורטת ומשימות מבוססות אזורים. הוא מתאים למי שמאמן מודלי שפה ויזואליים על פעולות, זיהוי זמנים ותיאור אובייקטים.
- 419הורדות בחודש
- 28לייקים
מה זה
המאגר מחולק לארבע משימות אימון שונות. החלק הגדול ביותר, FGQA, מכיל מעל 2.3 מיליון זוגות שאלות ותשובות פתוחות על מה אנשים עושים בווידאו ואיך הם מבצעים פעולות. השאלות נוצרו על ידי מודל והתשובות אומתו או תויגו על ידי בני אדם, על גבי מקטעים מתוך מאגרים קיימים כמו YouCook2, COIN, Ego4d, EgoExo4d, CrossTask וקטעים אוטומטיים מ־HT100M.
שאר החלקים מבוססים על קטעי וידאו ומסכות ממאגר SA-V של SAM-2. חלק ה־RCap כולל 179,447 תיאורים מפורטים של סובייקט מוגדר לפי מסכה בטווח זמנים נתון. חלק ה־RTLoc מכיל מספר זהה של רשומות ומשמש כמשימה ההפוכה, חיזוי טווח הפריימים שבו מתרחש התיאור. החלק הרביעי, RDCap, כולל 117,248 דוגמאות של רצף אירועים מלא לאורך כל משך הווידאו עבור סובייקט מסוים, כולל מקרים שבהם הוא מחוץ לפריים.
מתאים ל
- אימון VLM על זיהוי פעולות
מענה על שאלות פתוחות לגבי אופן ביצוע פעולות ומצב אובייקטים לאורך סרטון.
- תיאור וידאו ממוקד אובייקט
הפקת תיאור טקסטואלי מדויק עבור ישות ספציפית שמוגדרת באמצעות מסכה ויזואלית.
- איתור זמנים לפי טקסט
חיזוי פריימי התחלה וסיום של אירוע בווידאו על בסיס תיאור מילולי ומסכת מעקב.
איפה זה נופל
כל הטקסט במאגר באנגלית בלבד ואין תמיכה בעברית. המגבלה המשמעותית ביותר היא התלות בהורדת וידאו ממקורות חיצוניים מרובים, חלקם דורשים תהליכי גישה נפרדים. בנוסף, בשאלות של FGQA שמות הפעילויות לא תמיד אומתו, וחלק מהדגימות מסומנות ככאלו שלא עברו ביקורת איכות (is_audited שווה אפס).
שאלות
נפוצות
האם קבצי הווידאו כלולים בהורדה?
לא. המאגר מכיל רק את קובצי התיוג והמטא-דאטה בפורמט Parquet ו־JSONL. את סרטוני המקור צריך להוריד עצמאית מהמאגרים הרלוונטיים כמו SA-V או YouCook2 בהתאם לשדות המזהים.
האם מותר להשתמש במאגר לפיתוח מסחרי?
הרישיון הכללי הוא CC BY 4.0, אך חלק ה־FGQA כפוף למגבלות הרישיון של Llama 3.2. אם אתם מאמנים מודל על חלק זה ומפיצים אותו, אתם מחויבים לכלול את השם Llama בתחילת שם המודל שלכם.
האם יש תמיכה בעברית?
לא. כל השאלות, התשובות והתיאורים במאגר נכתבו באנגלית בלבד. כדי לעבוד בעברית תצטרכו לתרגם את הטקסטים בעצמכם.
איך טוענים
הנתונים מגיעים בקובצי Parquet מחולקים לפי משימות (fgqa, rcap, rdcap, rtloc) לצד קובץ מטא-דאטה בפורמט JSONL. חשוב לדעת שקבצי הווידאו עצמם אינם כלולים במאגר. כדי להשתמש במידע בפועל תצטרכו להוריד בנפרד את הווידאו ממאגר SA-V דרך האתר של מטא, או למשוך את הקטעים של FGQA לפי המזהים וחותמות הזמן של מאגרי המקור.
from datasets import load_dataset
ds = load_dataset("facebook/PLM-Video-Human")הרישיון
המאגר מוגדר תחת רישיון CC BY 4.0, אך כולל חריג חשוב. חלק ה־FGQA נוצר באמצעות Llama 3.2 ולכן כפוף לרישיון של מודלי Llama. שימוש בחלק זה לאימון או שיפור מודל שמופץ החוצה מחייב אתכם לפתוח את שם המודל שלכם במילה Llama.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס