rdt-ft-data
קוד פתוחrobotics-diffusion-transformermit2024-10-07
מאגר נתונים לכוונון מודלי תנועה עבור רובוטים בעלי שתי זרועות. הוא מספק מסלולי תנועה מרובי מצלמות עם פקודות טקסט מקוריות והרחבות סינתטיות.
- 4,791הורדות בחודש
- 24לייקים
מה זה
המאגר מיועד לאימון והתאמה של מודלים למניפולציה רובוטית דו-זרועית, ומקורו במחקר על מודל הבסיס RDT-1B שפורסם באוקטובר 2024. הנתונים מאורגנים בתיקיות לפי משימות שונות, כאשר כל משימה מכילה קובצי מסלול והקלטות לצד קובץ הגדרות טקסטואלי.
בתוך כל תיקיית משימה יושבים קובצי HDF5 המייצגים אפיזודות תנועה בודדות. כל קובץ כזה כולל תצפיות של זוויות המפרקים עבור שתי הזרועות ומשתני האחיזה, פעולות יעד לצעד הבא, ושלושה ערוצי וידאו צבעוניים ברזולוציה של 480 על 640 ממצלמה חיצונית ומשתי מצלמות המותקנות על פרקי כף היד.
לצד נתוני החיישנים, כל משימה מלווה בקובץ JSON עם הנחיות שפה. הקובץ מכיל את ההוראה המקורית שנכתבה בידי אדם, ולצידה גרסאות מורחבות ומפושטות שנוצרו על ידי GPT-4-Turbo כדי להעשיר את מגוון הניסוחים הטקסטואליים של המשימה.
מתאים ל
- כוונון מודלי תנועה
אימון מדיניות הפעלה לזרועות רובוטיות על בסיס פקודות שפה ותמונות וידאו.
- מחקר על תיאום דו-זרועי
ניתוח משימות מורכבות הדורשות פעולה מקבילה ומסונכרנת של שתי זרועות ותפסנים.
- בדיקת הכללה לשונית
הערכת עמידות של מודל מול ניסוחים מקוצרים ומורחבים עבור אותה משימה פיזית.
איפה זה נופל
הכרטיס לא מציין באילו רובוטים או סביבות פיזיות בוצעו הניסויים, ואין פירוט של שיטות הסינון שהופעלו על המסלולים. מספור האפיזודות אינו רציף ואורכי המסלולים משתנים, כך שאי אפשר להניח אחידות בגודל המדגמים. נתוני הטקסט נשענים על אנגלית בלבד, וסביר להניח שחלק מהפקודות הסינתטיות סובלות מההטיות הרגילות של מודלי שפה מסחריים.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מסחרי?
כן, הרישיון המדווח הוא MIT ולכן אין מגבלה על שימוש מסחרי. יש לוודא שאתם משמרים את הצהרת הרישיון והקרדיט למחברים המקוריים.
האם יש במאגר הנחיות בעברית?
לא, קובצי ההנחיות מבוססים על טקסטים באנגלית שנכתבו במקור בידי אדם והורחבו באמצעות GPT-4-Turbo. אם רוצים להפעיל מודל בעברית, תצטרכו לתרגם את קובצי ה־JSON בעצמכם.
איך מאורגנים קובצי הווידאו והמדידות?
הווידאו לא נשמר כקובצי mp4 נפרדים אלא כמערכי תמונות בתוך קובצי HDF5, יחד עם זוויות המפרקים ופעולות היעד. כל קובץ מייצג ניסיון ביצוע יחיד של המשימה.
מה מייחד אותו מדאטהסטים אחרים של רובוטיקה?
המאגר ממוקד ספציפית במניפולציה של שתי זרועות, עם 14 דרגות חופש כולל תפסנים, ושלוש זוויות צילום שונות לכל צעד זמן. בנוסף, הוא כולל גיוון טקסטואלי מובנה שנבנה כדי לבדוק הבנת הנחיות שונות.
איך טוענים
הנתונים מפוצלים לעשרות ארכיונים דחוסים עם סיומות ממוספרות. כדי לחלץ אותם יש להוריד את כל החלקים, לשרשר אותם בפקודת cat ולפתוח דרך tar ישירות לתיקייה אחת. אין צורך בבקשת אישור גישה. מומלץ לקחת בחשבון שמדובר ב־83 קבצים במאגר, ושעבודה עם מערכי HDF5 שמכילים וידאו ממספר מצלמות דורשת קריאה מדורגת או מעבר דרך ספריית נתונים מתאימה כדי לא לחנוק את הזיכרון.
from datasets import load_dataset
ds = load_dataset("robotics-diffusion-transformer/rdt-ft-data")הרישיון
המאגר מפורסם תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים ומחקריים, לשנות אותו ולשלב אותו במודלים אחרים ללא צורך בשיתוף תחת אותו רישיון, כל עוד שומרים על הודעת זכויות היוצרים המקורית.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש