ALOHA-Cosmos-Policy
קוד פתוחnvidiacc2025-12-14
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
המאגר מרכז 185 הדגמות אנושיות מוצלחות של מניפולציה רובוטית בשתי זרועות על גבי ALOHA 2. הוא מיועד למי שרוצה לאמן מדיניות תנועה ומודלי פעולה פיזיים על תנועות מורכבות ומדויקות בעולם האמיתי.
- 432הורדות בחודש
- 23לייקים
מה זה
כל רשומה מייצגת אפיזודה שלמה של הפעלה מרחוק בידי אדם, כשהשליטה מתועדת בקצב של 25 הרץ. ההקלטות מגיעות משתי זרועות ViperX 300 S וכוללות מצב זוויות מפרקים, מהירויות, כוחות ורצפי פעולות בפורמט HDF5, יחד עם שלושה נתיבי וידאו מקבילים: מצלמה עליונה ושתי מצלמות על מפרקי הידיים ברזולוציה של 256 על 256 פיקסלים.
המידע נאסף כולו בסביבה פיזית אמיתית ומכיל הדגמות מוצלחות בלבד, ללא ניסיונות שנכשלו. הנתונים המקוריים צומצמו מקצב של 50 הרץ לקצב הנוכחי, וסרטוני הווידאו נדחסו לקובצי MP4 כדי לחסוך מקום ולהאיץ אימונים. בנוסף, חושבו ונשמרו פעולות יחסיות בין פריימים לצד התנועות האבסולוטיות.
התוכן מחולק לארבע משימות מוגדרות: הנחת פריטים כמו חציל או כנף עוף על צלחת לפי הנחיות שפה, קיפול חולצות בכמה שלבים, איסוף סוכריות מפוזרות לקערה, והכנסת סוכריות לשקית ריצ'רץ' שדורשת דיוק של מילימטרים.
מתאים ל
- אימון מדיניות פעולה רובוטית
לימוד מודלי חיקוי ומדיניות תנועה בזמן אמת עבור זרועות רובוטיות כפולות במשימות אחיזה.
- מניפולציה מדויקת של חפצים
פיתוח אלגוריתמים לפעולות עדינות כמו פתיחת שקיות אטימה וקיפול בדים על בסיס ראייה.
- בדיקת מודלי ראייה-פעולה
בנצ'מרק של מודלים מולטימודליים המשלבים שלוש זוויות צילום ונתוני מפרקים פיזיים.
איפה זה נופל
מדובר במאגר קטן מאוד של 185 הדגמות בלבד, כך שאי אפשר לבנות עליו הכללה רחבה של מודלים מאפס. הוא כולל רק הצלחות, ולכן המודל לא ילמד איך להתאושש מטעויות או זיהוי כשלים. בנוסף, הנתונים הוקלטו על חומרה ספציפית של ALOHA 2, הסרטונים עברו כיווץ והורדת רזולוציה ל־256 פיקסלים, ותיאורי השפה הקיימים במשימת הצלחת מוגבלים לאנגלית עבור חפצים בודדים.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה למוצר מסחרי?
כן, הרישיון הוא CC BY 4.0 שמתיר שימוש מסחרי מלא. הדרישה היחידה היא מתן קרדיט ברור לחוקרים לפי הציטוט המבוקש בכרטיס.
האם יש בדאטהסט תמיכה בעברית?
לא. משימת הנחת הפריטים מבוססת על הוראות באנגלית בלבד עבור חפצים ספציפיים, ושאר המשימות מבוססות על הדגמות תנועה ללא טקסט.
איך הנתונים נאספו?
מפעילי אנוש שלטו מרחוק במערך של שתי זרועות ViperX 300 S והקליטו פעולות מוצלחות. התנועות נדגמו במקור ב־50 הרץ והומרו ל־25 הרץ לצד וידאו מכווץ.
מה שונה בין המאגר הזה למאגרי רובוטיקה רגילים?
הוא מתמקד ספציפית בעבודה מתואמת של שתי זרועות עם שלוש מצלמות ומכיל תנועות יחסיות מחושבות מראש. החיסרון הוא היקף צנוע של ארבע משימות בלבד.
איך טוענים
המאגר פתוח להורדה ישירה ללא צורך באישור מוקדם ומכיל 745 קבצים. כדי להשתמש בו צריך לקרוא קובצי HDF5 שכוללים את מערכי הנתונים המספריים, ולטעון במקביל את קובצי ה־MP4 של הווידאו לפי הנתיבים ששמורים בתוך האפיזודה. השדות הקריטיים לתנועה הם joint positions תחת qpos, פעולות אבסולוטיות ויחסיות של 14 ממדים, שבעה לכל זרוע, ומערכי הווידאו של שלוש המצלמות.
from datasets import load_dataset
ds = load_dataset("nvidia/ALOHA-Cosmos-Policy")הרישיון
המאגר מופץ תחת רישיון Creative Commons Attribution 4.0 International. הרישיון מתיר שימוש מסחרי, שינוי והפצה, כל עוד ניתן קרדיט מתאים ליוצרים לפי דרישות הייחוס. אין חובה לשתף נגזרות או מודלים שאומנו תחת אותו הרישיון.