RoVid-X
קוד פתוחDAGroup-PKUcc-by-4.02026-01-16
מאגר וידאו עצום שמתמקד בתנועות רובוטיות ובאינטראקציה פיזית עם חפצים. הוא מיועד למי שרוצה לאמן מודלים של חיזוי וידאו שמבינים חוקי תנועה ומכניקה.
- 21,005הורדות בחודש
- 71לייקים
מה זה
המאגר מכיל ארבעה מיליון קטעי וידאו שמסתכמים ביותר מעשרת אלפים שעות הקלטה. החומר מתעד סוגים שונים של רובוטים שמבצעים מעל אלף ושלוש מאות מיומנויות תנועה ומניפולציה מפורטות, בסביבות עבודה מגוונות ועם שלל עצמים. מעבר לצילום הרגיל, המידע כולל תיוגים פיזיקליים רב-מועדליים של עומק וזרימה אופטית לצד תמונות הווידאו.
כל קטע וידאו מתועד בקובץ מבנה בפורמט ג'ייסון לפי מזהה הקובץ שלו. הרשומות מחזיקות פירוק של הפעולות לפעלים, תיאור קצר של המשימה, ותיאור מפורט של הסצנה, התנועה של הזרוע הרובוטית והסביבה ברמת השטח.
מתאים ל
- יצירת וידאו לפעולות רובוט
אימון מודלי תמונה לווידאו לחיזוי השלבים הבאים של מניפולציה רובוטית על חפצים.
- תכנון משימות מבוסס ראייה
חיבור בין הוראות שפה באנגלית לרצף תנועות ויזואלי בסביבת מעבדה או תעשייה.
- למידת עומק וזרימה אופטית
אימון מודלים להבנת פיזיקה וחלל תלת ממדי מתוך שכבות העומק והתנועה המצורפות.
איפה זה נופל
כל התיאורים הטקסטואליים של המשימות והסצנות מופיעים באנגלית בלבד, כך שאין כאן מידע רב-לשוני או בעברית. בנוסף, מדובר בסביבות עבודה של רובוטים וניפולציה של חפצים, ולכן הנתונים מוטים מאוד לזוויות צילום תעשייתיות או שולחניות ולא יתאימו לווידאו כללי של בני אדם או טבע. הכרטיס לא מפרט את מקורות הווידאו המקוריים או נהלי סינון שגיאות ידניים, מה שמחייב אתכם לבדוק בעצמכם את איכות התיוג והתנועה לפני שאתם משלבים את הנתונים באימון סופי.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון המדווח הוא רישיון חופשי שמכסה שימוש מסחרי ומחקרי. כל מה שנדרש לפי תנאי הרישיון הוא לתת ייחוס ברור לחוקרים שפרסמו את הדאטהסט. אין הגבלה על מכירת מוצרים או שירותים שמבוססים על מודלים שאומנו עליו.
כמה שוקל הדאטהסט ואיך מתמודדים עם ההורדה?
המאגר מחולק ל־367 קובצי ארכיון גדולים שכוללים ארבעה מיליון קטעי וידאו. בגלל שמדובר בעשרת אלפים שעות וידאו, המשקל הכולל מגיע למאות ג'יגה-בייט ודורש תשתית אחסון מהירה. מומלץ להשתמש בכלי ההורדה הרשמי של האגינג פייס כדי לנהל הורדה יציבה.
האם יש בדאטהסט תמיכה בעברית?
לא, כל הטקסטים והתיוגים נכתבו באנגלית בלבד. זה כולל את שמות המשימות, הפעלים והתיאורים המפורטים של כל סרטון. אם אתם צריכים הנחיות בעברית, תצטרכו לתרגם את השדות הרלוונטיים לפני השימוש.
מה מייחד אותו מדאטהסטים רגילים של וידאו?
הדגש כאן הוא על תנועה רובוטית פיזית ודיוק מכני ולא על סרטוני רשת אקראיים. לצד הסרטונים תקבלו תיוגים פיזיקליים ייחודיים כמו שכבות עומק וזרימה אופטית. המבנה הזה עוזר לאמן מודלים שצריכים להבין אינטראקציה אמיתית בין גופים.
איך טוענים
הנתונים מחולקים ל־367 קובצי ארכיון ממוספרים, למשל מ־00.tar ועד סוף הרשימה, שמכילים את סרטוני הווידאו. מורידים אותם באמצעות שורת הפקודה הרשמית של האגינג פייס אל תיקייה מקומית ללא צורך באישור גישה מוקדם. לפני שמתחילים כדאי להכין נפח אחסון מסיבי, כי מדובר במיליוני קטעים ובקובצי ארכיון כבדים מאוד. בקוד העבודה תצטרכו לחבר בין קובצי הווידאו לבין קובץ המטא-דאטה שמחזיק את התיאורים הטקסטואליים, הפעלים והעומק.
from datasets import load_dataset
ds = load_dataset("DAGroup-PKU/RoVid-X")הרישיון
המאגר מופץ תחת רישיון פתוח מסוג קריאייטיב קומונס ייחוס 4.0. הרישיון מתיר שימוש מסחרי, מחקרי והתאמה של החומר לכל מטרה. התנאי היחיד הוא מתן קרדיט מתאים ליוצרים המקוריים וציון הקישור לרישיון. שימוש בנתונים לאימון מודל אינו מחייב אתכם לשחרר את המודל עצמו באותו הרישיון.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס