trex_dataset
קוד פתוחzekaiwangmit2026-06-11
מאגר וידאו ומגע למניפולציה רובוטית בשתי ידיים מיומנות, עם כחמישים שעות הפעלה מרחוק. הוא מתאים למי שמאמן מודלים שצריכים משוב מגע אמיתי לצד ראייה.
- 41,641הורדות בחודש
- 24לייקים
מה זה
המאגר כולל 5,464 פרקים וכמעט חמישה וחצי מיליון פריימים שנדגמו ב־30 הרץ. הנתונים הוקלטו מרובוט Dexmate Vega-1 בעל שתי זרועות ושתי ידי Sharpa Wave עם חמישה חיישני מגע בכל קצה אצבע. איסוף המידע נעשה בהפעלה מרחוק באמצעות כפפות Manus וגששי VIVE, תוך קיבוע הגלגלים, פלג הגוף העליון והראש, כך שרק 14 מפרקי הזרועות ושתי הידיים פעלו.
כל פריים כולל מצב ויעדים של 58 מפרקים, וקטור של 60 כוחות מגע בששת צירים, שלושה זרמי וידאו בצבע ברזולוציה של 640 על 360, ועשרים זרמי וידאו טקטיליים של חיישני מגע ועיוות בגווני אפור. המשימות מחולקות ל־22 פעולות בסיסיות, מכסות 207 חפצים שונים, ומלוות ב־5,370 הוראות טקסט באנגלית שנבדקו בידי אדם.
מתאים ל
- אימון מדיניות מגע וראייה
פיתוח מודלים של חיקוי התנהגות שמשלבים זרמי מצלמה יחד עם קריאות עיוות וכוח מקצות האצבעות.
- מניפולציה בשתי ידיים
למידת משימות תיאום מורכבות של זרועות וידיים רובוטיות בעלות דרגות חופש רבות.
- הפעלה מונחית שפה
אימון מודלים לביצוע פעולות מוטוריות בסיסיות לפי פקודות טקסט קצרות באנגלית על חפצים יומיומיים.
איפה זה נופל
ההקלטות בוצעו על חומרת רובוט ספציפית מאוד, עם שתי ידיים מדגם Sharpa Wave ותנועות ראש וגלגלים נעולות לחלוטין. התנועות הגיעו מהפעלה אנושית עם כפפות ולא מפעולה אוטונומית, כך שאין כאן דוגמאות להתאוששות מתקלות קיצוניות. ההוראות והתוויות קיימות באנגלית בלבד. אם החומרה שלכם שונה או שאין לכם חיישני מגע תואמים באצבעות, תצטרכו לבצע התאמות כבדות במבנה הקלט של המודל.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. הרישיון הוא MIT, מה שמאפשר שימוש מסחרי חופשי, כולל אימון מודלים פנימיים או מסחריים, ללא דרישה לחשוף את הקוד שלכם.
האם יש תמיכה בעברית או פקודות בעברית?
לא. 5,370 ההוראות הטקסטואליות שמצורפות לפרקים כתובות ומאומתות באנגלית בלבד.
מדוע סרטוני המגע לא נפתחים בתצוגה המקדימה ברשת?
הסרטונים האלה נדחסו ללא אובדן נתונים בפרופיל High 4:4:4 כדי לשמור על ערכי הפיקסלים המדויקים של החיישנים. רוב הדפדפנים לא תומכים בפיענוח כזה, ולכן חובה להוריד ולפתוח אותם מקומית עם כלים כמו PyAV.
איך נאסף המידע בפועל?
מפעילים אנושיים שלטו ברובוט מרחוק בעזרת כפפות Manus וגששי VIVE. תנועות הידיים תורגמו בזמן אמת לפקודות מפרקים בתדר של 30 הרץ, במקביל לחוג בקרה פנימי שרץ ב־300 הרץ.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית LeRobot באמצעות הפקודה LeRobotDataset עם שם המאגר, ללא צורך באישור גישה מראש. אם לא רוצים להוריד אלפי קבצי Parquet ווידאו, אפשר להזרים פרקים בודדים דרך מאגר ה־Quickstart שלהם.
קבצי הטקסט והמצבים נשמרים ב־Parquet, והווידאו מחולק לקבצי MP4 נפרדים. שימו לב שסרטוני המגע קודדו ללא איבוד מידע באמצעות H.264 בפורמט yuvj420p, ולכן דפדפנים לא מציגים תצוגה מקדימה שלהם. צריך לפענח ישירות את ערוץ ה־luma בעזרת PyAV או ffmpeg כדי לקבל את ערכי הפיקסלים המקוריים.
from datasets import load_dataset
ds = load_dataset("zekaiwang/trex_dataset")הרישיון
המאגר שוחרר תחת רישיון MIT של אוניברסיטת קליפורניה. מותר להשתמש בו לצרכים מסחריים ומחקריים, לשנות אותו ולשלב אותו במוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים המקורית. אין חובה לשתף מודלים שתאמנו עליו תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש