HiFi-UMI-2K
קוד פתוחsimple-world-labcc-by-4.02026-07-19
מאגר וידאו ומסלולי תנועה לאימון רובוטים בשתי ידיים, שנאסף מבני אדם בלי להשתמש ברובוט אמיתי. הוא מציע אלפיים שעות באיכות גבוהה כדי לאפשר פריסה ישירה על חומרה.
- 147,580הורדות בחודש
- 52לייקים
מה זה
המאגר מכיל תצפיות מרובות של מניפולציות ידניות שנלכדו באמצעות התקן לביש הכולל כפפות תפיסה ייעודיות ומערך מצלמות ראש וידיים. הנתונים מתפרסים על פני יותר מ־480 סביבות שונות ומייצגים תת-קבוצה מסוננת של 2,000 שעות מתוך קורפוס גולמי רחב בהרבה של מעל עשרים אלף שעות ויותר מארבעה מיליון אפיזודות.
כל הקלטה כוללת מסלולי קצה זרוע דו-ידניים בדיוק של כשלושה מילימטרים, זמני סנכרון הדוקים בין חיישנים של פחות מארבעים מיקרו-שניות, שישה ערוצי וידאו מקבילים ומצבי פתיחה של התופסן. תהליך הסינון של המידע כלל זיהוי אנומליות, בדיקות התכנות קינמטית ודינמית בסימולציה, תיוג משימות מבוסס מודלים ובקרה אנושית על דגימות עם רמת ביטחון נמוכה.
מתאים ל
- אימון מקדים למודלי פעולה
למידת ייצוגי תנועה רחבים עבור מודלי שפה-ראייה-פעולה ישירות מתוך אלפי שעות של תנועה אנושית טבעית.
- פוליסות תפעול דו-ידני
אימון ישיר של משימות מניפולציה עדינות המשלבות שתי ידיים תוך שימוש במערך של שש מצלמות מסונכרנות.
- אימות מסלולים בסימולציה
הערכת יציבות של בקרי תנועה רובוטיים כנגד מסלולי מניפולציה מדויקים ברמת המילימטר.
איפה זה נופל
למרות דיוק המדידה הגבוה, נקודת האפס של מערכת הצירים העולמית נקבעת באופן שרירותי בכל הקלטה, כך שאי אפשר להשוות ישירות בין מיקומים מוחלטים באפיזודות שונות ללא תיאום מקדים. בנוסף, כל תיאורי המשימות נשמרו באנגלית בלבד, מה שמחייב תרגום או התאמה אם רוצים לשלב פקודות בשפות אחרות.
ההדגמות כוללות פריים שלם של פעולות אנושיות ולא תנועות של מפרקי רובוט ספציפיים, ולכן יש לבצע בדיקת התאמה קינמטית למגבלות הזרוע הפיזית שלכם לפני שמריצים פוליסה ישירות בסביבת ייצור.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח רובוט מסחרי?
כן, הרישיון של המאגר הוא CC-BY-4.0 ומאפשר במפורש שימוש מסחרי. החובה היחידה היא מתן קרדיט ראוי ליוצרים וציון שינויים אם נעשו כאלה בנתונים המקוריים.
כמה שוקל המאגר ואיך מתמודדים עם הנפח?
המאגר כולל 2,000 שעות וידאו בשש זוויות שונות לצד אלפי קובצי Parquet, כך שנפח האחסון הנדרש מגיע לטרה-בייטים רבים. מומלץ להוריד רק את מקטעי ה־Parquet הנחוצים או לחלץ מקטעי וידאו לפי מזהי האפיזודות במטא-דאטה במקום למשוך את כולו בבת אחת.
האם יש במאגר הוראות או שדות בעברית?
לא, המאגר מתועד כולו באנגלית בלבד. שמות המשימות בקובץ המטא-דאטה נכתבו בשפה זו, כך שעבור אימון מודל קולי או טקסטואלי מקומי יהיה צורך בתרגום מקדים של טקסט המשימות.
איך המידע נאסף בפועל אם לא השתמשו ברובוט?
מפעילי המערכת לבשו התקן ראש הכולל מצלמות סטריאו ו־IMU, יחד עם כפפות אחיזה הכוללות סמנים ומצלמות נוספות. אלגוריתמי SLAM חישבו את מיקומי הידיים במרחב בדיוק גבוה, וכל המסלולים עברו אימות בסימולציה של רובוט וירטואלי.
איך טוענים
הנתונים מחולקים למבנה של מקטעים בפורמט דמוי LeRobot v3 הכולל מעל חמשת אלפים קבצים. רשומות המצב והפעולות נשמרות בקובצי Parquet של עשרים ממדים, לצד סרטוני MP4 נפרדים לכל אחת משש המצלמות ומטא-דאטה מפורט של תיאורי משימות וסטטיסטיקות נרמול.
אין צורך באישור גישה ידני כדי להוריד את המאגר. במהלך הטעינה לאימון, חובה להשתמש במסכת הסינון לפי השדה valid.frame שנשמר כבוליאני, ולוודא המרה של וקטורי הפעולה המוחלטים לתצורת היחסית של בקר הרובוט שלכם במידת הצורך.
from datasets import load_dataset
ds = load_dataset("simple-world-lab/HiFi-UMI-2K")הרישיון
המאגר מופץ תחת רישיון CC-BY-4.0 שמתיר שימוש מסחרי ומחקר פתוח ללא עלות. הרישיון דורש מתן קרדיט מתאים ליוצרים, קישור לנוסח הרישיון וציון אם בוצעו שינויים בנתונים. אין דרישה לשתף נתונים נגזרים באותו רישיון, ומודלים שאומנו עליו יכולים לשמש במוצרים מסחריים סגורים.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס