Dexora_Real-World_Dataset
קוד פתוחDexoramit2025-12-02
המאגר מכיל הדגמות רובוטיות בעולם האמיתי לשתי ידיים עתירות דרגות חופש. חוקרים ירצו אותו בגלל שילוב נדיר של וידאו מסונכרן מכמה זוויות עם נתוני מפרקים מלאים של אצבעות.
- 11,018הורדות בחודש
- 26לייקים
מה זה
המאגר מציג הדגמות הפעלה מרחוק שבוצעו עם שילוב של שלד חיצוני לשליטה בזרועות וקסדת ויז'ן פרו לתנועת הידיים, סביב רובוט מדגם airbot_play. הרשומות מתעדות 347 חפצים מתוך 17 קטגוריות סמנטיות, עם תנאי תאורה שונים ועומס ברקע. חלוקת המשימות כוללת הרמה והנחה בשיעור 55%, מניפולציה עדינה בשיעור 20%, הרכבה בשיעור 15% ומפרקים מכניים בשיעור 10%.
המבנה מאורגן לפי תקן LIBERO-2.1 בחלוקה לפרקים ולפי משימות ספציפיות. כל פרק כולל ארבע זוויות וידאו מסונכרנות באיכות של 480 על 640 פיקסלים בפורמט AV1, מצב פנימי של הרובוט, פקודות בקרה והוראות טקסטואליות בשפה טבעית כאשר לכל משימה חוברו חמישה ניסוחים שונים. לפי המטא-דאטה מדובר ב־201 משימות שונות.
מתאים ל
- אימון מודלי VLA לרובוטיקה
למידת חיקוי מהדגמות אנושיות המשלבות ראייה והוראות שפה עבור מערכות בעלות שתי זרועות.
- שליטה בידיים מרובות מפרקים
פיתוח אלגוריתמים לפעולות אחיזה וסיבוב עדינות הדורשות תיאום של 12 מפרקים בכל כף יד.
- בנצ'מרק למשימות מניפולציה
הערכת ביצועים במשימות הרכבה ופתיחה בעולם האמיתי לפי תקינת LIBERO-2.1.
איפה זה נופל
החומרה מאוד ספציפית וקשורה למבנה של airbot_play, כך שקשה להעביר את המדיניות ישירות לפלטפורמה עם גריפר רגיל או מספר מפרקים שונה. אין כאן מפות עומק פעילות למרות שהשדות תומכים בכך, אלא צבע בלבד. הטקסט כולל אנגלית וסינית בחפצים אך אין בו עברית. בנוסף, חצי מהמידע הוא הרמה והנחה פשוטה, כך שהגיוון התנועתי במשימות המורכבות מצומצם בהרבה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון הוא MIT ואינו מגביל שימוש מסחרי מכל סוג. אפשר לאמן עליו מודלים, לייצא משקלים ולמכור אותם, כל עוד משאירים את הרישיון המקורי בקבצי המקור.
מה הופך אותו לשונה ממאגרי רובוטיקה אחרים?
רוב המאגרים מציעים שליטה בגריפר פשוט של פתיחה וסגירה או זרוע בודדת. כאן מדובר במערך מלא של שתי זרועות ושתי ידיים מרובות אצבעות שנאסף בטלאופריישן אנושי מתקדם.
האם יש תמיכה בהוראות בעברית?
לא, ההוראות הטקסטואליות לדוגמאות נכתבו באנגלית. רשימות החפצים והמטא-דאטה החיצוני תועדו באנגלית ובסינית בלבד.
איך המידע נאסף בפועל?
מפעיל אנושי שלט במערכת באמצעות שלד חיצוני שתרגם תנועות לזרועות הרובוט, וקסדת ויז'ן פרו ששימשה לעקיבה אחר תנועת האצבעות. כל ההדגמות הוקלטו בקצב של 20 פריימים בשנייה עם ארבע מצלמות.
איך טוענים
הנתונים מחולקים ל־97,661 קבצים שכוללים טבלאות Parquet עבור מצבי המפרקים וסרטוני MP4 מקודדים ב־AV1 עבור ארבע המצלמות, ברוחב פס של 20 פריימים בשנייה. אין צורך באישור גישה מיוחד, ההורדה ישירה דרך האתר. השדות המרכזיים הם וקטורי הפעולה והמצב observation.state הכוללים 39 ערכים, בהם שש דרגות חופש לכל זרוע, 12 לכל כף יד, שתיים לראש ואחת לעמוד השדרה.
from datasets import load_dataset
ds = load_dataset("Dexora/Dexora_Real-World_Dataset")הרישיון
הרישיון הוא MIT. מותר להשתמש בנתונים למטרות מסחריות, לשנות אותם ולשלב אותם בכל פרויקט, כולל אימון מודלים סגורים, בלי חובת שיתוף של התוצר תחת אותו רישיון. התנאי היחיד הוא שמירת הודעת זכויות היוצרים המקורית וטקסט הרישיון לצד הקבצים שמופצים הלאה.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש