ShareRobot
קוד פתוחBAAIרישיון לא דווח2025-03-26
המאגר מרכז תיוגים לתכנון משימות, אזורי אחיזה ומסלולי תנועה של זרועות רובוטיות. הוא מתאים למי שמאמן מודלי ראייה ושפה לפעולות פיזיות בעולם האמיתי.
- 17,699הורדות בחודש
- 31לייקים
מה זה
הנתונים מבוססים על 23 מאגרי מקור מתוך פרויקט Open X-Embodiment, ומכסים 12 סוגי רובוטים שונים בביצוע 107 משימות בסיסיות. המאגר מחולק לשלושה חלקים עיקריים לפי משימות שונות.
החלק הראשון מיועד לתכנון פעולות וכולל מעל מיליון זוגות של שאלות ותשובות שנוצרו באמצעות תבניות מוגדרות מראש, מתוך 51,403 סרטונים שכל אחד מהם מכיל 30 פריימים. חלק זה מסודר במבנה שיחה שמתאר את השלב הבא ברצף הפעולות.
שני החלקים האחרים מתמקדים בביצוע מרחבי. חלק ה־Affordance כולל 6,522 תמונות שבהן מסומנים מלבנים חוסמים סביב אזורי האינטראקציה הרלוונטיים להוראה, וחלק ה־Trajectory מכיל 6,870 תמונות עם רצף נקודות דו ממדיות שמשרטטות את מסלול התנועה הנדרש של הזרוע.
מתאים ל
- אימון מודלי VLA
חיבור הוראות טקסט לפעולות פיזיות ומסלולי תנועה עבור זרועות רובוטיות.
- חיזוי השלב הבא במשימה
לימוד מודלים להבין רצף זמני מתוך תמונות ולתכנן את הפעולה הבאה.
- זיהוי אזורי אחיזה
איתור מלבני חסימה על אובייקטים לפי הוראות טקסטואליות פשוטות.
איפה זה נופל
חלק גדול מתיוגי השאלות והתשובות נוצר מתבניות סינתטיות ולא משיחות טבעיות, כך שיש שבלוניות בניסוחים. הנתונים לא כוללים עברית, וההוראות כתובות באנגלית בלבד. בנוסף, נקודות המסלול מוגדרות במישור התמונה הדו ממדי ולא במרחב תלת ממדי מלא, מה שמגביל את השימוש לשליטה ישירה בחומרה ללא מודל עומק נוסף.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ לעשות זאת כרגע, מכיוון שלא דווח שום רישיון בעמוד המאגר. כל עוד אין הצהרת רישוי רשמית, השימוש המסחרי נחשב לסיכון משפטי. המאגר מתאים בשלב זה למטרות מחקר ובדיקות בלבד.
מה הפורמט של הנתונים במאגר?
הנתונים מחולקים לקובצי JSON שמכילים את המטא דאטה והוראות הטקסט, לצד תיקיות עם תמונות PNG. חלק מהתיוגים מופיעים כשיחה, חלק כקואורדינטות של מלבן, וחלק כרשימת נקודות דו ממדיות של מסלול התנועה.
האם יש במאגר נתונים או הוראות בעברית?
לא, כל ההוראות והשאלות במאגר מנוסחות באנגלית בלבד. אם המערכת שלכם מיועדת לקבל פקודות בעברית, תצטרכו לתרגם את ההוראות מראש או לחבר מודל שפה חיצוני שיתרגם את הקלט.
מהיכן הגיעו הנתונים שנמצאים במאגר?
הנתונים נאספו מתוך 23 מאגרים מוכרים שמרכיבים את פרויקט Open X-Embodiment. החוקרים סיננו את הפריימים, בנו שאלות סביב תכנון הפעולות, והוסיפו סימונים של נקודות מסלול ואזורי עניין על גבי התמונות הקיימות.
איך טוענים
המאגר זמין ישירות ללא צורך בהרשאה מיוחדת, ומכיל 13,501 קבצים שכוללים תמונות בפורמט PNG וקובצי JSON נפרדים עבור כל סוג משימה. הטעינה נעשית בקריאה ישירה של קובצי המטא דאטה והתמונות המשויכות אליהם, כאשר כל רשומה כוללת מזהה, הפניה לקובץ התמונה, נתוני המקור וקואורדינטות של מלבנים או נקודות מסלול. יש לשים לב שנתיבי התמונות בחלק מהקבצים דורשים התאמה ידנית לנתיב המקומי שלכם.
from datasets import load_dataset
ds = load_dataset("BAAI/ShareRobot")הרישיון
היוצרים לא ציינו רישיון שימוש בעמוד המאגר. המשמעות המעשית היא שאין אישור מפורש לשימוש מסחרי או לאימון מודלים המיועדים למוצר, וכל שימוש כזה כרוך בסיכון משפטי. מומלץ להגביל את העבודה איתו למחקר פנימי בלבד עד להסדרת הרישוי מול BAAI או מול הרישיונות של מאגרי המקור.