droid

מה זה

מדובר באוסף רחב של נתוני מניפולציה רובוטית שנאספו בסביבות אמיתיות ולא בסימולציות מעבדה סטריליות. המאגר מכיל 92,223 אפיזודות שונות שמסתכמות ב־27,044,326 פריימים, ומכסה 31,308 תיאורי משימות ייחודיים בשפה טבעית. המטרה היא לתת למודלים בסיס רחב להבנת פעולות פיזיות מגוונות דרך שילוב של ראייה, פקודות טקסט ותנועות רובוט.

הגרסה הזו הוסבה מפורמט Tensorflow Dataset המקורי אל פורמט LeRobotDataset בסיוע קהילת IPEC. המבנה הפנימי מאורגן בתיקיות צ'אנקים שמכילות קובצי Parquet נפרדים לכל אפיזודה, כמו episode_000000.parquet. הכרטיס אינו מפרט תהליכי סינון ידניים או אוטומטיים שנעשו על הנתונים, אך עצם המעבר לפורמט החדש כיווץ את הנפח בצורה משמעותית והפך את הגישה לפרקים בודדים למהירה וישירה.

מתאים ל

• אימון מדיניות רובוטית

  לימוד מודלים לביצוע מניפולציות פיזיות בעולם האמיתי מתוך מיליוני דוגמאות.

• שליטה מונחית שפה

  חיבור בין הוראות טקסט באנגלית לבין רצף פעולות מוטוריות של זרוע רובוטית.

• בנצ'מרק למודלי ראייה-פעולה

  הערכת ביצועים של מודלי VLA על עשרות אלפי אפיזודות מגוונות.

איפה זה נופל

הטקסטים במאגר מוגבלים לאנגלית בלבד, כך שאין שום תמיכה בהוראות בעברית ללא תרגום מקדים. למרות שמדובר בסביבות אמיתיות, כרטיס המודל לא מפרט את סוגי הרובוטים, המצלמות, או תנאי התאורה שנדגמו, ולא מציין אילו הטיות קיימות בבחירת המשימות. לפני שרצים לאמן רובוט פיזי, תצטרכו לבדוק בעצמכם האם הקינמטיקה והמשימות שם רלוונטיות לחומרה שלכם.

איך טוענים

המאגר שוקל כ־400GB בפורמט LeRobot, ירידה מסיבית מנפח של 2TB בפורמט המקורי. אין צורך לבקש אישור גישה מיוחד כדי להוריד אותו. הנתונים מחולקים לעשרות אלפי קובצי Parquet בתוך תיקיות chunk, לצד קובצי מטא-דאטה כמו info.json, ותוכלו לטעון אותם בעזרת הכלים של ספריית LeRobot.

from datasets import load_dataset

ds = load_dataset("cadene/droid")

הרישיון

המאגר מופץ תחת רישיון apache-2.0. זהו רישיון מתירני שמאפשר שימוש מסחרי מלא, שינוי והפצה, כל עוד אתם משמרים את הודעת זכויות היוצרים ומצרפים עותק של הרישיון. אין חובה לשתף את המודלים שאימנתם תחת אותו רישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗