something_something_v2
קוד פתוחHuggingFaceM4other2022-05-12
מאגר וידאו ממוקד של פעולות ידיים בסיסיות עם חפצים יומיומיים. מיועד למי שרוצה ללמד מודל להבין אינטראקציה פיזית ותנועה עדינה ברצף זמן, ולא רק לזהות חפצים בודדים.
- 374הורדות בחודש
- 24לייקים
מה זה
במקום לקחת סרטונים מוכנים מהרשת ולתייג בדיעבד, החוקרים הגדירו תבניות פעולה מראש וביקשו מעובדי Mechanical Turk לצלם את עצמם מבצעים אותן. התוצאה היא 220,847 סרטונים קצרים שמדגימים פעולות פיזיות יומיומיות, כמו להפיל משהו מאחורי משהו, להעמיד חפץ על הצד, או להעמיד פנים שפותחים קופסה.
כל רשומה במאגר כוללת את קובץ הווידאו עצמו, מזהה ייחודי, תיאור טקסטואלי חופשי באנגלית, רשימת החפצים שמופיעים בסצנה, ומספר מחלקה מתוך 174 קטגוריות פעולה שונות. החלוקה הפנימית מוגדרת מראש ומורכבת מ־168,913 דוגמאות באימון, 24,777 בוולידציה, ועוד 27,157 בבדיקה.
מתאים ל
- סיווג פעולות בווידאו
זיהוי של 174 פעולות פיזיות מוגדרות מראש, כולל תנועות עדינות ואינטראקציה מורכבת בין חפצים.
- אימון מקדים לראייה ממוחשבת
שימוש בווידאו כדי ללמד מודל הבנה בסיסית של חוקי פיזיקה ואינטראקציה אנושית לפני התאמה למשימה ספציפית.
- הבנת סצנות ושפה
חיבור בין תיאורי טקסט באנגלית לבין התנועות הפיזיות שמתרחשות בסרטון בזמן אמת.
איפה זה נופל
הכרטיס לא מפרט הטיות, סיכוני פרטיות או מגבלות דמוגרפיות, אך שיטת האיסוף מבוססת כולה על עובדי מיקרו-משימות שצילמו את עצמם בסביבה ביתית. פעולות רבות מבוצעות בצורה מלאכותית או מעמידות פנים, והטקסט מוגבל לאנגלית בלבד. אם המוצר שלכם פועל בעולם האמיתי מחוץ לתנאי שולחן וסביבה ביתית מבוקרת, תצטרכו לבדוק היטב עמידות לרעשי רקע, תאורה שונה וזוויות צילום לא שגרתיות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון של קוואלקום מוגדר לשימוש מחקרי בלבד. אימון מודל שמיועד למכירה או לשימוש פנימי בחברה מסחרית מפר את תנאי השימוש.
האם יש במאגר טקסט בעברית?
אין עברית כלל. כל התיוגים, שמות החפצים והתיאורים של הפעולות נכתבו באנגלית בלבד.
איך המאגר הזה שונה ממאגרי וידאו רגילים ברשת?
במקום לקחת סרטונים אקראיים מיוטיוב ולנחש מה קורה בהם, כאן נתנו לאנשים הוראה מדויקת מראש לצלם פעולה ספציפית עם חפצים יומיומיים. זה מבטיח שהתנועה עצמה היא מוקד הסרטון ולא הרקע מסביב.
כמה שוקל הדאטהסט הזה?
הכרטיס לא מציין את הנפח המדויק בג'יגה-בייט, אך הוא מכיל מעל 220 אלף קבצי וידאו. הורדה ואימון ידרשו עשרות עד מאות ג'יגה-בייט של שטח אחסון ותשתיות עיבוד מתאימות.
איך טוענים
טוענים את המאגר ישירות דרך הספרייה של Hugging Face באמצעות הסקריפט המצורף something_something_v2.py. קחו בחשבון שמדובר בקבצי וידאו אמיתיים עבור מאות אלפי דוגמאות, כך שנפח האחסון הנדרש ותעבורת הרשת כבדים משמעותית ממאגרי תמונות רגילים. השדות החשובים לעבודה הם label שמכיל את אינדקס הפעולה, שדה video שמחזיר את אובייקט הקובץ לעיבוד הפריימים, ושדה placeholders שמפרט את שמות האובייקטים שהשתתפו בפעולה.
from datasets import load_dataset
ds = load_dataset("HuggingFaceM4/something_something_v2")הרישיון
הרישיון מוגדר בתור other ומפנה להסכם משפטי חיצוני של חברת Qualcomm. המסמך הזה מגדיר את השימוש למטרות מחקר בלבד. אסור להשתמש בנתונים האלה למוצר מסחרי, ולא כדאי להסתכן באימון מודל פרודקשן עליהם בלי אישור משפטי ישיר מהם.