PhysicalAI-Robotics-GraspGen
קוד פתוחnvidiacc-by-4.02025-03-13
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
מאגר נתוני אחיזה מסימולציה שכולל מעל 57 מיליון דגימות לשלושה סוגי תפסנים רובוטיים. הוא מיועד למי שרוצה לאמן מודלים לתכנון אחיזה על מגוון חפצים בלי לאסוף מידע פיזי בעצמו.
- 679הורדות בחודש
- 32לייקים
מה זה
המאגר מכיל דגימות אחיזה שחושבו בסימולציה עבור תת קבוצה של 8515 עצמים מתוך המאגר Objaverse XL בגרסת LVIS. החישובים נעשו עבור שלושה סוגי קצה רובוטיים: Franka Panda, תפסן תעשייתי Robotiq 2f 140, ותפסן ואקום עם שטח מגע יחיד ברדיוס של 30 מילימטר.
הנתונים מחולקים לפי סוג התפסן, כשבכל תיקייה יש קובצי ארכיון וחבילות פיצול לאימון ואימות שנקבעו לפי מזהי העצמים. עבור כל עצם שמור קובץ שמכיל את קנה המידה שלו, לצד מערך של 2000 ניסיונות אחיזה. כל ניסיון כולל מטריצת טרנספורמציה הומוגנית בגודל ארבע על ארבע שמייצגת את מיקום התפסן, ומסכה בוליאנית שמציינת אם האחיזה הצליחה.
העצמים התלת ממדיים עצמם אינם כלולים ישירות במאגר. כדי להשתמש במידע או להציג אותו, צריך להוריד את קובצי המודלים בנפרד מתוך Objaverse XL בעזרת סקריפט ייעודי שממפה את המזהים לנתיבי הקבצים בדיסק.
מתאים ל
- אימון מודלי אחיזה רובוטית
למידת חיזוי נקודות תפיסה מוצלחות לתפסני שתי אצבעות או ואקום ישירות מתוך מיקומי עצמים.
- הערכת תכנון אחיזה
בדיקת ביצועים והשוואה של אלגוריתמי תפיסה מול 57 מיליון דוגמאות מוגדרות מראש.
- מחקרי מעבר מסימולציה
בחינת היכולת להעביר מודלים שאומנו על מיליוני אחיזות ממוחשבות ישירות לזרוע רובוטית אמיתית.
איפה זה נופל
כל הנתונים מבוססים על סימולציה ממוחשבת ולא על אינטראקציה פיזית בעולם האמיתי, כך שפער המעבר מהדמיה למציאות עלול להפיל מודלים על עיוותים בחומר או החלקה. המאגר מוגבל בדיוק לשלושה סוגי תפסנים, וכל תפסן אחר ידרוש התאמות משמעותיות. המאגר גם לא כולל נתונים בעברית או טקסט בכלל, ואינו מחזיק את קובצי הרשת של החפצים עצמם, כך שתהליך העבודה תלוי כולו בהורדה תקינה של מאגר חיצוני נוסף.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון הוא CC BY 4.0 שמתיר שימוש מסחרי חופשי. התנאי היחיד הוא מתן קרדיט ברור לאנבידיה על בסיס הנתונים המקורי.
האם המאגר כולל קובצי תלת ממד להורדה ישירה?
לא. המאגר מכיל רק את נתוני האחיזה, קנה המידה ותוצאות הסימולציה. את קובצי הרשת התלת ממדיים של העצמים צריך להוריד בנפרד ממאגר Objaverse XL באמצעות סקריפט.
איך נאספו נתוני האחיזה בפועל?
הנתונים לא הוקלטו מרובוטים אמיתיים אלא חושבו בסימולציה ממוחשבת. עבור כל אחד מ 8515 החפצים שנדגמו, המערכת בדקה 2000 תנוחות אחיזה אפשריות ותיעדה אם האחיזה הצליחה.
האם המאגר כולל נתונים בעברית או טקסט כלשהו?
לא, אין במאגר טקסט כלל. הנתונים מורכבים ממטריצות תנוחה מספריות, ערכי קנה מידה, מזהי עצמים ומסכות הצלחה בוליאניות.
איך טוענים
הנתונים מוגשים בפורמט WebDataset ומחולקים לקובצי tar ממוספרים, שמונה קבצים לכל אחד משלושת התפסנים, ללא צורך באישור גישה מיוחד. כדי לחלץ את המידע עובדים ישירות מול קובצי ה tar והמילונים שנשמרו בהם. השדות המרכזיים בכל רשומה הם transforms שמחזיק את תנוחת התפסן, object_in_gripper שמספק את תגית ההצלחה, וגודל העצם. להרצה חזותית נדרשת התקנה של meshcat והרצת שרת מקומי, לצד הורדה נפרדת של קובצי הרשת התלת ממדיים לפי המזהה שלהם.
from datasets import load_dataset
ds = load_dataset("nvidia/PhysicalAI-Robotics-GraspGen")הרישיון
המאגר וקוד ההצגה מפורסמים תחת רישיון CC BY 4.0 של חברת אנבידיה. הרישיון מתיר שימוש מסחרי, שינוי והפצה, כל עוד נותנים קרדיט מתאים ליוצרים ומציינים אם נעשו שינויים. אין חובה לשתף מודלים שאומנו עליו תחת אותו הרישיון.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס