Cosmos-Reason1-SFT-Dataset
קוד פתוחnvidiacc-by-4.02025-05-16
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
מאגר לאימון מודלים של בינה מלאכותית פיזית, המשלב סרטונים ותיוגי טקסט למשימות הבנה והסקה רובוטית. הוא מרכז נתונים ממספר מקורות מובילים כדי ללמד מודלים לפעול בעולם האמיתי.
- 935הורדות בחודש
- 31לייקים
מה זה
המאגר מיועד לאימון עדין, למידת חיזוק והערכת ביצועים בתחום הרובוטיקה, רכב אוטונומי ומבט גוף ראשון. הוא בנוי סביב צמדים של סרטוני וידאו ותיוגי טקסט באנגלית, כאשר לכל סרטון יכולים להיות כמה תיוגים שונים המחולקים לשתי רמות: הבנה בסיסית של הסצנה, והסקה פיזית מורכבת יותר.
התוכן נאסף משילוב של חיישנים, מערכות אוטומטיות ותיעוד אנושי, והתיוג עצמו משלב עבודה אנושית עם כלים אוטומטיים. החלקים המרכזיים כוללים נתונים ממאגרי RoboVQA, BridgeDataV2, Agibot, HoloAssist וכן דאטה של רכב אוטונומי, לצד סט מבחן בשם RoboFail שמיועד לבדיקת הכללה על תקלות וכישלונות רובוטיים.
מתאים ל
- אימון הבנה רובוטית
כוונון מודלי וידאו וטקסט להבנת מניפולציות של זרועות רובוטיות בסביבות עבודה מגוונות.
- הסקה מנקודת מבט אנושית
לימוד מודלים לנתח פעולות אנושיות ממצלמות גוף ראשון באמצעות נתוני הדגמה ייעודיים.
- בדיקת עמידות לתקלות
הערכת היכולת של מודל לזהות שגיאות בפעולת רובוט באמצעות סט המבחן של RoboFail.
איפה זה נופל
הנתונים כולם באנגלית ומבוססים על סביבות מעבדה, סימולציות או תרחישים שנאספו במקורות ספציפיים, ללא כל התאמה להקשר מקומי בישראל. בנוסף, נתוני הרכב האוטונומי הוגדרו כלא זמינים בזמן שחרור המאגר ויועדו להעלאה בהמשך, כך שלא כל מה שמופיע בתיעוד נגיש מיד להורדה. החברה אף מציינת שהדאטה נועד בעיקר להדגמה ולמטרות לימודיות, מה שמחייב בדיקות בטיחות קפדניות לפני שילוב שלו במערכות פיזיות אמיתיות.
שאלות
נפוצות
האם המאגר כולל את כל קובצי הווידאו להורדה ישירה?
לא. המאגר כולל קובצי וידאו רק עבור RoboVQA, AV ו־RoboFail. עבור BridgeDataV2, Agibot ו־HoloAssist שוחררו רק קובצי התיוג, ואת הווידאו צריך להוריד עצמאית מהאתרים של הפרויקטים המקוריים ולחבר ביניהם.
האם מותר להשתמש בדאטהסט לפיתוח מודל מסחרי?
כן, התיעוד מציין במפורש שהדאטה מוכן לשימוש מסחרי תחת תנאי רישיון CC-BY-4.0, לצד רישיונות Apache 2.0 ו־MIT של חלק מהמקורות. המשמעות היא שמותר לאמן עליו מודלים מסחריים כל עוד מקפידים על מתן ייחוס כנדרש.
כמה שטח אחסון נדרש כדי להוריד את כל החומר?
חלוקת הנתונים לאימון עדין דורשת 300.6 גיגהבייט, נתוני למידת החיזוק שוקלים 2.6 גיגהבייט, ונתוני המבחן וההערכה תופסים עוד 1.5 גיגהבייט. קחו בחשבון שזהו הנפח עבור מה שמאוחסן כאן, ולא כולל וידאו חיצוני שתצטרכו להוריד ממקורות אחרים.
האם יש במאגר תמיכה בעברית?
לא, כל תיוגי הטקסט וההסברים נכתבו באנגלית בלבד. אם המטרה היא להפעיל מודל שמגיב או מונחה בעברית, תצטרכו לתרגם את הנתונים או לחבר מודל שפה חיצוני שמטפל בשכבת השפה.
איך טוענים
הורדת החומר דורשת התמודדות עם 114 קבצים בנפח של מאות גיגהבייט, הכוללים קובצי טקסט במבנה json וארכיוני וידאו מכווצים. חשוב לדעת שסרטוני הווידאו עצמם כלולים ישירות במאגר רק עבור RoboVQA, AV ו־RoboFail, בעוד שעבור מאגרים כמו BridgeDataV2, Agibot ו־HoloAssist תקבלו רק את קובצי התיוג ותצטרכו להוריד את קובצי הווידאו ישירות מהמקורות המקוריים שלהם ולהתאים ביניהם לפי שמות הקבצים.
from datasets import load_dataset
ds = load_dataset("nvidia/Cosmos-Reason1-SFT-Dataset")הרישיון
המאגר מופץ תחת רישיון CC-BY-4.0 שמתיר שימוש מסחרי ומחקר חופשי, בתנאי שתתנו קרדיט הולם למפרסמים. עם זאת, חלקים מסוימים מתבססים על מאגרי מקור ברישיונות Apache 2.0 ו־MIT, לכן לפני שאתם אורזים מודל שאומן על הדאטה בתוך מוצר מסחרי, ודאו שאתם עומדים בדרישות הייחוס של כלל הרישיונות המעורבים.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס