Cosmos3-DROID
קוד פתוחnvidiaopenmdw-1.12026-06-25
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
המאגר מרכז 71,907 הדגמות הפעלה של זרוע רובוטית שצולמו במאות סביבות אמיתיות. הוא נותן מדידות תנועה מדויקות יחד עם וידאו מסונכרן בפורמט מודרני שמתאים ישר לאימון.
- 32,709הורדות בחודש
- 45לייקים
מה זה
הנתונים מגיעים מניסוי רחב שבו 50 מפעילים ב־18 מעבדות אספו תנועות של זרוע Franka Panda עם גריפר Robotiq לאורך שנה שלמה. במקום תנאי מעבדה סטריליים, הצוותים הזיזו פלטפורמה ניידת בין 52 מבנים ו־564 חדרים, ורשמו הוראות מילוליות חופשיות לצד משימות שנבחרו אקראית כדי למנוע היצמדות למסלולים קלים בלבד. בזמן ההקלטה שילבו שינויי תאורה, הזזת חפצים ושינויי מיקום למצלמות כדי להכריח את המערכת ללמוד גמישות.
גרסה זו ממירה את החומר הגולמי למבנה LeRobotDataset v3.0, שמחלק את המאגר לשתי תיקיות נפרדות של הצלחה וכישלון. תיקיית ההצלחות כוללת 57,639 אפיזודות ומעל 18 מיליון פריימים, ואילו תיקיית הכישלונות מכילה 14,268 אפיזודות. המבנה מבוסס על קובצי Parquet לחלוקת פריימים לפי צ'אנקים, לצד מטא-דאטה מסודר שמגדיר גבולות של כל ריצה ומשימה.
כל שבריר שנייה בדאטה כולל נתוני מצב ופקודות פעולה בזמן אמת, כולל זוויות מפרקים, מהירויות, כוחות מחושבים ומיקום במרחב. לכל נקודת זמן מוצמדים שלושה ערוצי וידאו מקבילים ברזולוציית 640 על 360 ובקצב של 15 פריימים לשנייה, שצולמו משתי זוויות חיצוניות וממצלמה שיושבת ישירות על פרק כף היד של הזרוע.
מתאים ל
- אימון מדיניות תנועה
למידת פעולות זרוע ישירות מתוך זרם מצלמות בזמן אמת עבור סביבות ביתיות ומשרדיות.
- מודלי דינמיקה קדימה
חיזוי המצב הבא של המפרקים והסביבה לפי נתוני החיישנים ופקודת השליטה שנבחרה.
- הערכת כשלים בפעולה
אימון מודל לזיהוי חריגות וטעויות אחיזה באמצעות שימוש בתיקיית הכישלונות הייעודית.
איפה זה נופל
כל הנתונים נאספו על חומרה אחת בלבד, זרוע Franka Panda עם שבע דרגות חופש וגריפר ספציפי של שתי אצבעות. אם הרובוט שלכם שונה במבנה המכני או במגבלות העומס, הנתונים הפיזיקליים והפקודות הישירות לא יתאימו בלי התאמות מורכבות. הטקסטים של המשימות נכתבו כולם באנגלית ולא קיימות שפות אחרות, והווידאו מוגבל לרזולוציה נמוכה יחסית שלא תמיד מספיקה לזיהוי חפצים זעירים.
שאלות
נפוצות
האם מותר להשתמש במידע הזה לצורך מסחרי?
כן, כרטיס המאגר מציין במפורש שהנתונים מוכנים לשימוש מסחרי ולא מסחרי. הרישיון שחל עליהם הוא openmdw-1.1 שמחייב לתת קרדיט למחקר המקורי. אין כאן הגבלה שנועלת את השימוש באקדמיה בלבד.
כמה שוקל המאגר ומה הדרישות הטכניות להורדה?
הנפח הכולל עומד על 707 ג'יגה-בייט שמפוזרים על פני 3,797 קבצים. הווידאו מקודד ב־AV1, ולכן צריך כוח עיבוד מתאים לפריקה מהירה של הפריימים בזמן האימון. עדיף להוריד אותו לדיסק NVMe מקומי מהיר כדי למנוע צוואר בקבוק בטעינת הנתונים.
האם יש במאגר הוראות בעברית?
לא, כל ההוראות והתוויות של המשימות נאספו ונכתבו באנגלית בלבד. מדובר בעשרות אלפי הנחיות מילוליות שמשויכות למסלולים השונים, כולן בשפה האנגלית. כדי לאמן מודל שמגיב לעברית, תצטרכו לתרגם את קובצי המשימות לפני האימון.
איך הנתונים נאספו בפועל בשטח?
מפעילים אנושיים שלטו בזרוע מרחוק לאורך 12 חודשים בתוך חללים אמיתיים כמו משרדים ובתים. בכל חדר המפעיל רשם משימות אפשריות לממשק ייעודי, שהקפיץ לו משימות אקראיות לביצוע כדי למנוע הטיה. במקביל שונו התאורה, מיקומי המצלמות ומיקום בסיס הרובוט כדי ליצור מגוון רחב.
במה שונה גרסת Cosmos3 ממאגר DROID המקורי?
גרסה זו לקחה את המידע הגולמי והמירה אותו לפורמט LeRobotDataset v3.0 שמבוסס על קובצי Parquet מאוחדים וסרטוני AV1. כתוצאה מהעיבוד מחדש, מספר האפיזודות במאגר זה עומד על 71,907 לעומת כ־92 אלף שדווחו במאמר המקורי. הפורמט הנוכחי מותאם לעבודה ישירה עם ספריות רובוטיקה מודרניות של Hugging Face.
איך טוענים
הדאטהסט שוקל 707 ג'יגה-בייט וכולל 3,797 קבצים, כך שחובה להכין מראש שטח אחסון מהיר. הווידאו דחוס בפורמט AV1 בקובצי MP4, ונתוני המפרקים והפעולות שמורים בקובצי Parquet, שילוב שדורש מפענח וידאו מתאים בזמן הטעינה. מורידים את התיקייה ישירות מ־Hugging Face בעזרת snapshot_download ללא צורך בטופס גישה מיוחד, וטוענים כל חלק בנפרד דרך הספרייה lerobot על ידי הצבעה על התיקייה success או failure.
from datasets import load_dataset
ds = load_dataset("nvidia/Cosmos3-DROID")הרישיון
המאגר מופץ תחת רישיון openmdw-1.1, וכרטיס המידע מגדיר אותו כמיועד לשימוש מסחרי ולא מסחרי. הרישיון דורש מתן קרדיט וציטוט של מאמר המקור בעת שימוש בנתונים. הוא מתיר פיתוח ואימון של מודלים ללא דרישה להפיץ את המודלים המאומנים בקוד פתוח.