SynData
קוד פתוחPsiBotAIcc-by-4.02026-04-21
מאגר נתוני וידאו ומניפולציה מגוף ראשון עם מעקב מדויק אחר תנועות ידיים וכפפות שלד חיצוני. מתאים למי שמאמן מודלים של בינה מלאכותית פיזית ורובוטיקה על משימות מורכבות.
- 24,013הורדות בחודש
- 187לייקים
מה זה
המאגר כולל מאות אלפי מקטעים מיושרים לפי קצב של עשרה פריימים בשנייה. הנתונים מתעדים פעולות אנושיות בעולם האמיתי, חלקן מוקלטות בידיים חשופות וחלקן באמצעות כפפת שלד חיצוני ייעודית של החברה, שמספקת דיוק תנועה במילימטרים ועוקבת אחר מפרקי האצבעות וזוויות שורש כף היד.
התוכן מחולק לארבעה תתי מאגרים נפרדים. התת מאגר ego מתמקד בראייה מגוף ראשון וכולל וידאו, עומק ונתוני אינרציה של הראש. התת מאגר glove-origin כולל מניפולציה ידנית מלאה עם מצבי מפרקים, glove-rep-bg מציג החלפה מלאכותית של הרקע, ותת המאגר glove-with-tactile מוסיף אותות מגע מחיישני הכפפות. כל תת מאגר מגיע עם קובצי אינדקס, תיאורי טקסט למשימות ותיאורים לשלבים ספציפיים.
מתאים ל
- אימון מודלים של מניפולציה
לימוד מדיניות פעולה לזרועות רובוטיות על בסיס זוויות מפרקים ונקודות קצה של אצבעות.
- חיזוי תנועה מראיית ראש
אימון מודלים לחזות תנועת ידיים ומנח ראש ישירות מתוך וידאו צבע ועומק בגוף ראשון.
- למידת חיקוי מבוססת טקסט
חיבור פקודות בשפה טבעית לרצפי פעולות מדויקים לפי תיאורי השלבים המצורפים לכל מקטע.
איפה זה נופל
הקצב מוגבל לעשרה פריימים בשנייה, מה שלא מתאים למי שצריך תנועות מהירות מאוד או בקרה בזמן אמת. בנוסף, מפות העומק לא מגיעות עם מסכת תקינות נפרדת, וערכים חסרים מסומנים פשוט באפס. תיאורי השפה קיימים באנגלית בלבד. אם המוצר שלכם צריך רובוטיקה מבוססת מגע, קחו בחשבון שרק חלק קטן מהדאטהסט מכיל אותות טקטיליים, והכפפות מייצגות מידול ספציפי של ידיים ולא מבנה גנרי.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
כן, רישיון cc-by-4.0 מתיר שימוש מסחרי מלא כל עוד מציגים ייחוס מתאים. ההגבלה היחידה שהמפרסמים מציינים היא איסור על שימושי מעקב, זיהוי אנושי או פגיעה בפרטיות.
האם יש בדאטהסט תמיכה בעברית?
לא. תיאורי השפה והשלבים נכתבו באנגלית, והתיעוד מופיע באנגלית ובסינית בלבד. אם אתם רוצים לאמן מודל שיבין הנחיות בעברית, תצטרכו לתרגם את קובצי ה־parquet של ההערות בעצמכם.
איך הנתונים נאספו בפועל?
החומרים נאספו מאנשים אמיתיים שביצעו משימות יומיומיות בעולם האמיתי. הם לבשו מערכת ראש לתיעוד וידאו ותנועה, וכפפות שלד חיצוני ייעודיות שפותחו בחברה כדי למדוד במדויק את כל דרגות החופש של האצבעות ושורש כף היד.
מה שונה בפורמט האחסון שלו מדאטהסטים רגילים?
הוא לא בנוי כקובצי וידאו נפרדים שנטענים בשורה אחת בקוד. המידע שמור כמערכי Zarr v3 דחוסים בתוך קובצי tar, וצריך לפרוק אותם מקומית ולחתוך את המקטעים לפי מספרי הפריימים המופיעים באינדקס.
איך טוענים
אינכם יכולים לטעון את הווידאו ישירות דרך כלי הצפייה של האגינג פייס, שמציג רק מטא דאטה. הנתונים האמיתיים שמורים בארכיוני tar דחוסים של תיקיות Zarr v3. כדי לעבוד איתם בפועל, מורידים את קובצי ה־parquet של האינדקס באמצעות כלי הפקודה של האגינג פייס, מזהים את המקטע המבוקש לפי שדות start_idx ו־end_idx, מחלצים את קובץ הארכיון הרלוונטי וקוראים את המערכים בספריית zarr. אין צורך באישור גישה מיוחד.
from datasets import load_dataset
ds = load_dataset("PsiBotAI/SynData")הרישיון
הרישיון הוא Creative Commons Attribution 4.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו ולאמן עליו מודלים, בתנאי שאתם נותנים קרדיט ברור למפרסמים. אין חובת שיתוף באותו רישיון. עם זאת, היוצרים אוסרים במפורש שימוש לזיהוי פנים, מעקב, זיהוי מחדש או פגיעה בפרטיות.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס