PhysicalAI-Robotics-Manipulation-Kitchen-Demos
קוד פתוחnvidiacc-by-4.02026-02-10
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
שש מאות שעות של הדגמות אנושיות במטבח מציעות בסיס רחב לאימון זרועות רובוטיות. המאגר מתאים למי שרוצה ללמד רובוט משימות פיזיות מורכבות בעזרת נתונים אמיתיים ולא סימולציות בלבד.
- 7,799הורדות בחודש
- 42לייקים
מה זה
המאגר כולל 55,000 מסלולי תנועה שנאספו במהלך 600 שעות של הפעלה מרחוק בידי אדם. הנתונים תועדו בעזרת זרוע רובוטית מסוג Franka Panda המותקנת על בסיס נייד של Omron, כך שהתנועה מכסה גם מניפולציה וגם ניווט בסביבת עבודה.
המשימות מחולקות ל־316 סוגים שונים, שמסודרים תחת חלוקה ראשית של pretrain ו־target, ובתוכן חלוקה משנית למשימות בדידות (atomic) ומשימות מורכבות (composite). משימות בדידות כוללות פתיחה וסגירה של דלתות מקרר, תנורים, ברזים ומגירות, בעוד המשימות המורכבות משלבות שלבים כמו הכנת ארוחות, סידור שולחן וניקוי שאריות.
בספריית האימון המוקדם כל משימה מיוצגת לרוב על ידי 100 מסלולים, ואילו במשימות היעד יש כ־500 מסלולים לכל משימה. התיעוד אינו מפרט תהליכי סינון או ניקוי ידניים של מסלולים שכשלו, ומתמקד במבנה התיקיות והמשימות עצמן.
מתאים ל
- אימון מדיניות מניפולציה
לימוד מודלים לחיזוי פעולות מוטוריות של זרוע רובוטית מתוך תצפיות ויזואליות במטבח.
- אימון קדם למשימות ביתיות
שימוש במאות המשימות הבדידות כבסיס גנרי לתנועות רובוטיות לפני כוונון על סביבה ייעודית.
- הערכת תכנון רב-שלבי
בדיקת יכולת המודל לבצע רצף של פעולות מורכבות כמו פינוי כלים והכנת מזון.
איפה זה נופל
הנתונים נאספו כולם עם חומרה ספציפית מאוד של זרוע Franka Panda ובסיס Omron. אם הרובוט שלכם בעל דרגות חופש שונות או מבנה גריפר שונה, תצטרכו לבצע התאמות קינמטיות מורכבות. המאגר מוגבל למטבח בלבד, והכרטיס אינו מפרט שונות בתנאי תאורה, זוויות מצלמה או כישלונות מכוונים שנועדו לבחון התאוששות מטעות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון הוא מסוג cc-by-4.0 שמתיר מפורשות שימוש מסחרי. החובה היחידה היא לציין קרדיט נאות ל־nvidia כפי שמוגדר בתנאי הרישיון. אין חובה לשחרר את המוצר או את המודל שלכם בקוד פתוח.
באילו כלים מומלץ לעבוד עם הקבצים?
המאגר מותאם ישירות לפורמט LeRobot ונשמר בקובצי parquet. אפשר לעבוד איתו ישירות דרך ספריית lerobot או לחלץ את הארכיונים ולטעון את הטבלאות באמצעות pandas או polars. כדאי לפרוק רק את המשימות הרלוונטיות לפרויקט שלכם כדי לחסוך מקום מקומי.
איך נאספו הנתונים והאם יש בהם פעולות בעברית?
הנתונים הוקלטו באמצעות מפעילים אנושיים ששלטו מרחוק בזרוע Franka Panda על בסיס Omron נייד. שמות המשימות והמזהים כתובים כולם באנגלית בלבד. אין במאגר טקסט, אודיו או פקודות בשפה העברית.
איך טוענים
הנתונים מוגשים בפורמט LeRobot של Hugging Face ונשמרים בקובצי ארכיון מסוג tar, שבתוכם קובצי episode בפורמט parquet המחולקים למקטעים. אין צורך בבקשת גישה מיוחדת להורדה מהמאגר, אך הוא כולל 38,444 קבצים ולכן מומלץ למשוך משימות ספציפיות בעזרת huggingface_hub במקום להוריד את כל הנפח בבת אחת.
from datasets import load_dataset
ds = load_dataset("nvidia/PhysicalAI-Robotics-Manipulation-Kitchen-Demos")הרישיון
המאגר מופץ תחת רישיון cc-by-4.0. הרישיון מתיר שימוש מסחרי, מחקרי, שינוי ושילוב במערכות אחרות, כל עוד נותנים קרדיט מתאים ליוצרים ב־nvidia. מודלים שאומנו על המאגר אינם מחויבים ברישיון פתוח זהה.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס