PhysicalAI-Autonomous-Vehicle-Cosmos-Drive-Dreams
קוד פתוחnvidiacc-by-4.02025-06-10
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
עשרות אלפי סרטוני נהיגה סינתטיים עם נתוני LiDAR ומפות תלת-ממדיות עשירות. החבילה נבנתה כדי לאמן מודלים לרכב אוטונומי על תנאי מזג אוויר קיצוניים שקשה לתפוס במציאות.
- 14,973הורדות בחודש
- 59לייקים
מה זה
המאגר מכיל תוויות מ־5,843 קטעי נהיגה אמיתיים באורך עשר שניות שנלקחו ממאגר RDS-HQ, ולצידם 81,802 סרטוני וידאו סינתטיים שנוצרו על בסיס התוויות האלה. כל קטע מקור חולק לשני חלקים של 121 פריימים ויוצר בשבעה מצבי מזג אוויר שונים, כולל ערפל, גשם, שלג ולילה, כך שמתקבלות 14 וריאציות סינתטיות לכל מקטע.
מבנה הנתונים מחולק לכמה תיקיות עיקריות בארכיון. יש כאן נתוני חיישנים הכוללים ענני נקודות LiDAR בקצב של 10 פריימים בשנייה, תנוחות רכב ומצלמה ב־30 פריימים בשנייה, ומטריצות כיול של שבע זוויות מצלמה שונות. לצד החיישנים מגיעות שכבות HDMap וקטוריות מפורטות בפורמט JSON עבור נתיבים, קווי עצירה, מעברי חצייה, רמזורים ותמרורים, יחד עם מעקב ארבע-ממדי מלא אחר עצמים דינמיים כמו רכבים, הולכי רגל ובעלי חיים.
מתאים ל
- אימון תפיסה במזג אוויר קשה
שיפור עמידות רשתות חיזוי במצבי קיצון כמו שלג, ערפל כבד וגשם באמצעות הדמיות מרובות תנאים.
- מיפוי נתיבים וגבולות כביש
אימון מודלים לזיהוי גיאומטריית כביש ומעברי חצייה בעזרת תוויות וקטוריות תלת-ממדיות עשירות.
- היתוך מידע בין מצלמה ל־LiDAR
פיתוח אלגוריתמים המשלבים ענני נקודות מסונכרנים ב־10 FPS יחד עם וידאו ונתוני כיול מצלמות.
איפה זה נופל
הווידאו במאגר הוא סינתטי לחלוטין ונוצר על ידי מודל, מה שעלול לייצר ארטיפקטים ויזואליים או חוסר עקביות פיזיקלית בהשוואה למצלמות רכב אמיתיות. סרטוני הווידאו האמיתיים שמהם נלקחו התוויות עדיין לא שוחררו להורדה בעת פרסום המאגר. התיוג מבוסס על חיישנים וכלים אוטומטיים של מערכת RDS-HQ ללא בקרה ידנית מוצהרת. בנוסף, כל הטקסטים וההנחיות באנגלית בלבד, ואין ייצוג לתמרורים או סביבות כביש מקומיות בישראל.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
כן, הרישיון הוא CC BY 4.0 שמתיר שימוש מסחרי מלא. הדרישה העיקרית היא מתן קרדיט ברור ליוצרים. המפתחים אף מציינים במפורש בכרטיס שהחומר מוכן לשימוש מסחרי ברכב אוטונומי.
כמה שטח אחסון צריך כדי להוריד את הנתונים?
המאגר השלם תופס כ־3 טרה-בייט. אם אתם זקוקים רק לסרטונים הסינתטיים מדובר בכ־700 ג'יגה-בייט. סקריפט ההורדה מאפשר למשוך רק שכבות רלוונטיות, כמו מפות או נתוני ליידאר בלבד, כדי לחסוך מקום.
האם הקבצים כוללים וידאו שצולם במציאות?
כרגע לא. הקבצים מכילים וידאו שיוצר כולו על ידי מחשב על בסיס תוויות של נסיעות אמיתיות. NVIDIA ציינה שהסרטונים מהעולם האמיתי ישוחררו בהמשך.
האם יש בדאטהסט מידע רלוונטי לכבישים בישראל?
לא. הנתונים מתבססים על סביבות נהיגה בינלאומיות של מאגר RDS-HQ וכל ההנחיות באנגלית. התמרורים, סימוני הצמתים והתנהגות הנהגים מייצגים תקנים זרים, מה שמחייב בדיקת התאמה לכביש המקומי.
איך טוענים
כל החבילה שוקלת כשלושה טרה-בייט, כך שלא מורידים אותה ישירות דרך הדפדפן. NVIDIA מספקת סקריפט פייתון ייעודי שמאפשר להוריד רק שכבות ספציפיות כמו הווידאו הסינתטי ששוקל לבדו כ־700 ג'יגה-בייט, ה־LiDAR, או מפות ה־HDMap. הנתונים מאוחסנים בארכיוני tar מחולקים, והגישה לקבצים חופשית ללא צורך בהרשאה מקדימה. לפני הטעינה צריך לשים לב לסנכרון, כל פריים LiDAR תואם לשלושה פריימים עוקבים של המצלמה.
from datasets import load_dataset
ds = load_dataset("nvidia/PhysicalAI-Autonomous-Vehicle-Cosmos-Drive-Dreams")הרישיון
המאגר מופץ תחת רישיון CC BY 4.0. מותר להשתמש בו לצרכים מחקריים ומסחריים, לבצע שינויים ולאמן מודלים, בתנאי שנותנים קרדיט מתאים ליוצרים. הרישיון אינו דורש שיתוף של תוצרי המודל תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס