PhysicalAI-Robotics-Locomanipulation-GRAIL
קוד פתוחnvidiacc-by-nc-4.02026-04-28
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
תנועות שלמות של מניפולציה ותנועה עבור רובוט דמוי אדם מסוג Unitree G1, שנוצרו מווידאו סינתטי ואומתו בסימולציה פיזיקלית. המאגר נותן מסלולים מאומתים פיזיקלית בלי צורך בהקלטות תנועה אנושיות יקרות.
- 24,463הורדות בחודש
- 27לייקים
מה זה
המאגר כולל 79,158 קבצים שמחולקים לפי קטגוריות פעולה: הרמה משולחן, הרמה מהרצפה, ישיבה, והליכה על שיפועים, מדרכות ומדרגות. לכל דגימת תנועה מצורף סרטון המקור, שחזור תלת ממדי של מודל גוף האדם בתקן SMPL-X, מיקום האובייקט במרחב בשישה צירים, מסלול המפרקים של הרובוט לאחר התאמה לשלד שלו, קובץ מטא-דאטה ונכס תלת ממדי של החפץ בפורמט USD כולל טקסטורות.
תהליך הייצור אוטומטי לחלוטין וללא בני אדם אמיתיים. הצוות לקח מודלים תלת ממדיים ממאגרי RoboCasa, מודלים שנוצרו בבינה מלאכותית דרך Hunyuan3D-2.1 או קרקע שנוצרה פרוצדורלית, הפיק סרטוני אינטראקציה סינתטיים בעזרת Kling AI ובלנדר, שחזר את התנועה בשיטות ראייה ממוחשבת, והריץ בקר תנועה מסוג SONIC בתוך Isaac Lab. הנתונים ששוחררו הם התנועות שהרובוט והחפץ ביצעו בפועל תחת חוקי הפיזיקה של הסימולציה.
מתאים ל
- אימון בקרים לרובוט G1
אימון מדיניות תנועה ומניפולציה בלמידת חיזוק, תוך שימוש במסלולים המאומתים כנקודות ייחוס לתנועת הגוף והידיים.
- שחזור תנועה תלת ממדית
אימון והערכה של מודלי ראייה ממוחשבת לשחזור אינטראקציות של אדם וחפץ מתוך סרטוני וידאו למודל SMPL-X.
- העברה מסימולציה למציאות
בדיקת אלגוריתמים לבקרת רובוטים דמויי אדם מול מסלולים קינמטיים מדויקים לפני בדיקות מעבדה פיזיות.
איפה זה נופל
הנתונים מתאימים אך ורק לרובוט Unitree G1 עם 29 דרגות חופש לגוף ו־7 לכל יד, כך ששימוש ברובוט אחר דורש המרה נוספת של המפרקים. אין במאגר נתוני מגע, כוחות או מידע מחיישני מגע, אלא רק מסלולים קינמטיים ומיקומי מודלים במרחב. בנוסף, סרטוני המקור הם סינתטיים לחלוטין, מה שיוצר פער מול המציאות אם מאמנים מודלי תפיסה ישירות על הווידאו. הצלחה בסימולציה של Isaac Lab אינה מבטיחה יציבות או עמידה במגבלות מומנט על רובוט אמיתי, ויש צורך בכיול זהיר לפני הפעלה על חומרה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. המאגר מוגדר תחת רישיון CC BY-NC 4.0 המיועד לשימוש לא מסחרי בלבד. כל מודל או מדיניות בקרה שמחקרים מאמנים על בסיס הנתונים האלה לא יכולים להימכר או לפעול בתוך שירות מסחרי.
האם המאגר כולל בני אדם אמיתיים או הקלטות תנועה ממצלמות?
אין במאגר אנשים אמיתיים. כל הסרטונים יוצרו במנועי אנימציה ובינה מלאכותית גנרטיבית, והתנועות נגזרו ישירות מדמויות ממוחשבות ותורגמו פיזית בתוך סביבת הסימולציה של Isaac Lab.
האם הנתונים רלוונטיים לשפה העברית?
המאגר אינו מכיל טקסט בשפה טבעית כלל, למעט שמות הקבצים והמטא-דאטה הטכני באנגלית. מדובר במסדי נתונים גיאומטריים וקינמטיים בלבד, ולכן אין משמעות לשפה בשימוש בו.
איך אפשר לוודא שהתנועות לא ישברו את הרובוט במציאות?
התנועות נבדקו רק בסימולציה מול מנוע פיזיקלי, והן אינן כוללות בדיקות עומס, גבולות מומנט של מנועי החומרה או מנגנוני עצירת חירום. כל מעבר לרובוט פיזי מחייב ולידציה עצמאית ובדיקת מעטפת בטיחות על ידי הצוות המשלב.
איך טוענים
המאגר פתוח להורדה ישירה דרך Hugging Face ללא צורך בהרשמה מוקדמת או באישור ידני. הקבצים שמורים בפורמט pkl של פייתון, קובצי וידאו בפורמט MP4 ומודלים בפורמט USD. חשוב לשים לב שקבצי pkl יכולים להריץ קוד בעת הפתיחה, ולכן צריך לטעון אותם בסביבה מבודדת ומאובטחת. כדי לשחזר את התנועות או להציג אותן מקומית, אנבידיה מספקת סקריפטים ייעודיים להרצה שמבוססים על סביבת קונדה ומייצרים סרטוני הדמיה ישירות מתוך קובצי הרובוט.
from datasets import load_dataset
ds = load_dataset("nvidia/PhysicalAI-Robotics-Locomanipulation-GRAIL")הרישיון
המאגר הבסיסי של GRAIL מופץ תחת רישיון CC BY-NC 4.0 שמתיר שימוש מחקרי בלבד ומחייב מתן קרדיט. חל איסור מוחלט על שימוש מסחרי בנתונים ובמודלים שאומנו עליהם ישירות. בנוסף, חלקי המשנה במאגר כפופים לרישיונות שונים: מודלי הבדיקה של אנבידיה כפופים לרישיון הדגמים הפתוח שלה, נכסי RoboCasa דורשים ייחוס תחת CC BY 4.0, וחלק מנכסי התלת ממד שמקורם ב־ComAsset מכילים רישיונות פרטניים מאתר SketchFab שעלולים להטיל מגבלות מחמירות יותר.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא