Kinetics-700

מה זה

המאגר כולל 635,000 קטעי וידאו קצרים, באורך ממוצע של עשר שניות לקליפ, שמתעדים פעולה אנושית בודדת. המידע מחולק ל־700 קטגוריות פעולה שונות כמו נגינה בכינור או רכיבה על אופניים. כל רשומה מבוססת על קטע שנחתך מסרטון יוטיוב ציבורי, בליווי תיוג הפעולה ומטא-דאטה שכולל את מזהה הסרטון המקורי וזמני ההתחלה והסיום של הקטע.

האיסוף התבצע דרך מתייגים אנושיים שחיפשו וסימנו פעולות מוגדרות מראש בסרטוני יוטיוב כדי לייצר מגוון זוויות צילום וסביבות שונות. מבחינת חלוקה, הסט כולל 536,499 קטעים לאימון, 33,966 קטעים לוולידציה, ועוד 64,535 קטעים בסט המבחן. התוויות של סט המבחן אינן גלויות, כדי לאפשר השוואת ביצועים הוגנת בין חוקרים.

מתאים ל

• אימון מודלים לסיווג וידאו

  למידה עמוקה של זיהוי פעולות אנושיות ב־700 קטגוריות שונות מתוך קטעים קצרים.

• אימון מקדים להבנת תנועה

  יצירת משקולות בסיס למודלי וידאו גדולים שאפשר לכוונן בהמשך למשימות אחרות.

• בנצ'מרק והשוואת אלגוריתמים

  בדיקת ביצועי מודלים מול סט מבחן סגור ומדדים מקובלים בקהילת המחקר.

איפה זה נופל

המקור הוא תוכן גולשים מיוטיוב, ולכן יש הטיה מובנית לכיוון תרבויות ודמוגרפיות שנפוצות יותר בפלטפורמה. השפה המוגדרת במאגר היא אנגלית בלבד. חלק מהגדרות הפעולה סובלות מעמימות ומחפיפה בין קטגוריות מסוימות, מה שעלול לייצר רעש בתיוג. מעבר לזה, קטעים שמבוססים על סרטונים שהועלו לרשת לא תמיד מייצגים התנהגות מגוונת בכל העולם, ואי אפשר להניח שהביצועים יישארו זהים מחוץ להתפלגות הזו.

איך טוענים

במאגר הנוכחי יש 24 קבצים, והשימוש המלא דורש הורדה וחילוץ של כל 22 קובצי ה־zip של הנתונים כדי לקבל את הקליפים בפורמט MP4. הגודל הכולל עומד על 871 גיגה-בייט, מתוכם כ־757 גיגה-בייט מוקדשים רק לאימון, 35 לוולידציה ו־79 למבחן. דרושים חיבור רשת חזק, נפח אחסון מקומי גדול ותשתית מתאימה לפני שמתחילים לפרוק את הארכיונים.

from datasets import load_dataset

ds = load_dataset("atalaydenknalbant/Kinetics-700")

הרישיון

הרישיון מוגדר כ־other, והכרטיס מציין במפורש שהדאטהסט מיועד למחקר אקדמי ולשימוש לא מסחרי בלבד. המודלים שמאומנים עליו כפופים גם לתנאי השימוש וזכויות היוצרים של יוטיוב ושל יוצרי התוכן המקוריים, כך שלא ניתן לבנות איתו מוצר מסחרי.

הרישיון המלא ב־Hugging Face ↗