PhysicalAI-Robotics-Manipulation-SingleArm
קוד פתוחnvidiacc-by-4.02025-03-12
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
המאגר מרכז הדמיות סינתטיות של זרוע Franka Panda בביצוע משימות מניפולציה בסיסיות. הוא מיועד למי שרוצה לאמן מודלי מדיניות רובוטיים בפורמט LeRobot בלי לשלם על איסוף ידני יקר.
- 9,398הורדות בחודש
- 21לייקים
מה זה
הנתונים כוללים עשרות אלפי פרקים של תנועות אוטומטיות שנוצרו בסימולטור IsaacSim. המשימות מחולקות לשישה תתי מאגרים: ערימת קוביות בתנאים שונים כמו משטחים מוגבהים ומרקמים משתנים, פתיחת ארונות עליונים מימין ומשמאל, ופתיחת מגירה. הסצנות נבנו פרוצדורלית על גבי שולחן עבודה, והתנועות חושבו באמצעות אלגוריתמים לתכנון משימה ותנועה.
הרשומות מגיעות בפורמט LeRobot ומכילות וקטורי מצב ופעולה יחד עם סרטונים. בכל פרק תמצאו נתוני תנוחת רובוט וחפצים, לצד צילומי וידאו ברזולוציה של 512 על 512 משתי זוויות: מצלמת עולם ומצלמה המותקנת על פרק כף היד של הזרוע. בחלק מהמשימות נוסף גם תיעוד עומק מלא שנשמר כווידאו הממפה טווח של עד שישה מטרים.
מתאים ל
- אימון מדיניות זרוע בסיסית
לימוד מודלים לביצוע תפיסה, הרמה וערימת עצמים על שולחן עבודה מתוך נתוני תמונה ומצב.
- הערכת תפיסה מרחבית ועומק
בדיקת אלגוריתמים המשלבים מצלמת יד ומצלמת סביבה עם נתוני עומק להבנת מיקום חפצים.
- מניפולציה של מפרקים וארונות
פיתוח מסלולי תנועה לאינטראקציה עם ארונות ומגירות הנעים על ציר או מסילה.
איפה זה נופל
כל המידע כאן סינתטי לחלוטין ונוצר בסביבה וירטואלית מבוקרת. פער המציאות מול סימולציה מהווה בעיה ממשית, ולא תמצאו פה רעשי חיישנים אמיתיים, שחיקה מכנית או תאורה לא אחידה של מעבדה חיה. הגיוון מוגבל לעצמים בסיסיים כמו קוביות וארונות סטנדרטיים, כך שדרושה בדיקה יסודית והתאמה לפני שמנסים להריץ את המודל הנלמד על חומרה פיזית בעולם האמיתי.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
כן, המאגר פורסם תחת רישיון CC BY 4.0 שמתיר שימוש מסחרי מלא. התנאי העיקרי הוא מתן קרדיט ברור לאנבידיה. המודלים שתאמנו על הנתונים אינם מחויבים ברישיון פתוח.
כמה נפח אחסון נדרש כדי להוריד את כל המידע?
הנפח הכולל של הקבצים עומד על 15.2 ג'יגה בייט. מדובר במאגר שמכיל כמעט מאה אלף קבצים, בעיקר סרטוני וידאו קצרים וקובצי נתונים. כדאי לוודא שיש לכם מספיק זיכרון ומקום בדיסק לעיבוד מקבילי שלהם.
האם הדאטהסט כולל הדגמות שהוקלטו על רובוט אמיתי?
לא, כל הנתונים נוצרו בסימולטור IsaacSim באופן סינתטי לחלוטין. התנועות הופקו על ידי אלגוריתמים אוטומטיים לתכנון מסלול ולא בעזרת מפעיל אנושי. אם אתם מכוונים ישירות לרובוט פיזי, תצטרכו להביא בחשבון את פער הסימולציה.
מה מייחד את המאגר לעומת אוספי נתונים אחרים ברובוטיקה?
הוא מגיע מובנה ומסודר מראש לפי הפורמט של LeRobot, מה שחוסך עבודת עיבוד ראשונית גדולה. בנוסף, הוא משלב צילומי עומק ייעודיים לצד מצלמת גוף ומצלמת פרק כף יד. הגיוון הפרוצדורלי של המרקמים מספק נקודת מוצא טובה לניסויי אימון מבוססי ראייה.
איך טוענים
המאגר מבוסס על מבנה של קובצי Parquet לחלוקות המידע וקובצי וידאו MP4 לתמונות ולעומק, בתאימות לספריית LeRobot. הנפח הכולל עומד על 15.2 ג'יגה בייט ואין צורך באישור גישה מיוחד כדי להוריד אותו. אם אתם מתכוונים לאמן מודל, שימו לב שהמרחב של הפעולות משתנה בין שבעה ממדים של תנועת קצה ותפיסה בחלק מהתרחישים, לבין שמונה ממדים הכוללים שליטה ישירה בכל מפרקי הזרוע באחרים.
from datasets import load_dataset
ds = load_dataset("nvidia/PhysicalAI-Robotics-Manipulation-SingleArm")הרישיון
הרישיון הוא CC BY 4.0, והוא מתיר שימוש מסחרי, שינוי והפצה של הנתונים. חובה לתת ייחוס מתאים לחברת אנבידיה לפי תנאי הרישיון, אך אין דרישה לשתף את המודלים שתאמנו או את תוצרי הפיתוח תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס