simlingo
קוד פתוחRenzKaother2025-05-23
מאגר נהיגה אוטונומית בסימולטור שמחבר חיישנים לפעולות והסברים בשפה טבעית. הוא מתאים למי שמאמן מודלים לקבלת החלטות בנהיגה עם הנמקה מילולית או מענה לשאלות על סמך ראייה ממוחשבת.
- 2,279הורדות בחודש
- 16לייקים
מה זה
המאגר כולל 3,308,315 דגימות שנאספו מסימולטור CARLA 2.0 באמצעות סוכן מומחה מבוסס חוקים בשם PDM-Lite. הנתונים מכסים 38 תרחישים שונים, מנהיגה עירונית מהירה ועד מצבים שבהם כלי רכב אחרים מפרים חוקי תנועה. המסלולים עצמם קצרים יחסית, כאשר ברובם יש תרחיש בודד ובשאר שלושה תרחישים.
מבנה הנתונים מחולק לארבעה חלקים עיקריים. החלק הראשון מכיל נתוני חיישנים גולמיים הכוללים תמונות מצלמה קדמית ברזולוציה של 1024x512, תמונות שעברו אוגמנטציה של זווית ומיקום, ענני נקודות של LiDAR, מדידות של מצב הרכב והסימולטור, ותיבות תוחמות של אובייקטים. שאר החלקים מתמקדים בשפה וכוללים פרשנות מילולית להחלטות הנהיגה, משימות מילוי הוראות עם פעולות מרובות, ונתוני שאלות ותשובות שמבוססים על DriveLM.
מתאים ל
- אימון VQA לנהיגה
מענה על שאלות וניתוח תמונות דרך קדמיות לזיהוי סיכונים וקבלת החלטות.
- מילוי הוראות קוליות ברכב
תרגום פקודות טקסטואליות מורכבות לפעולות היגוי ותאוצה מוגדרות.
- הסבר החלטות נהיגה
יצירת טקסט שמנמק בזמן אמת מדוע הרכב האט, סטה או עצר.
איפה זה נופל
כל הנתונים מגיעים מסימולציה סגורה של CARLA 2.0 ולא מכביש אמיתי. המפרסמים מציינים במפורש שיותר משלושה מיליון הדגימות לא נלקחו ממסלולים ייחודיים בגלל מגבלות הסימולטור, כך שיש כאן חזרתיות מובנית שעלולה לגרום להתאמת יתר. כל הטקסטים וההוראות כתובים באנגלית בלבד. הנהיגה נאספה על ידי מומחה חוקים מוגדר מראש, ולכן ההחלטות וההסברים משקפים את הלוגיקה של אותו אלגוריתם ולא התנהגות של נהגים אנושיים בשטח.
שאלות
נפוצות
האם יש במאגר תמיכה בעברית?
לא. כל נתוני השפה, הפרשנויות, השאלות וההוראות נוצרו באנגלית בלבד. אם תרצו להשתמש בו למוצר ישראלי תצטרכו לתרגם את השכבה הטקסטואלית בעצמכם.
האם מותר להשתמש בזה לפיתוח מסחרי?
הרישיון מסומן בתור other וכרטיס המאגר לא מפרט תנאים. תצטרכו להוריד ולבדוק את קובץ LICENSE שמופיע בקובצי המאגר לפני שאתם משלבים אותו בפיתוח מסחרי.
איך המידע הזה נאסף בפועל?
הנתונים לא הוקלטו מרכב אמיתי אלא מסימולטור CARLA 2.0. סוכן ממוחשב מבוסס חוקים בשם PDM-Lite נהג במסלולים, הקליט את המדידות והחיישנים, ומתוכם הופקו תוויות הטקסט והפעולות.
האם הדגימות מציגות מסלולים שונים ומגוונים?
לא לגמרי. למרות שיש מעל שלושה מיליון דגימות ו־38 תרחישים, המפרסמים מבהירים שמספר המסלולים בסימולטור מוגבל, ולכן אותם מסלולים מופיעים שוב ושוב בווריאציות שונות.
איך טוענים
ההורדה לא מתבצעת בשורה אחת של קוד פייתון רגיל. הקבצים שמורים ב־183 ארכיונים דחוסים בפורמט tar.gz שמחולקים לפי תרחישים ומסלולים, בנוסף לקובץ נתיבים בפורמט pkl. מורידים אותם באמצעות Git LFS או פקודות wget ישירות מהמאגר, ולאחר מכן מחלצים את כל הארכיונים לתיקייה משותפת אחת. אין צורך באישור גישה כדי להוריד. אם אתם עובדים רק על מודל שפה חזותי, אפשר להוריד רק את קובצי ה־JSON הדחוסים ותמונות ה־RGB, בלי לגעת בענני הנקודות הכבדים בפורמט LAZ.
from datasets import load_dataset
ds = load_dataset("RenzKa/simlingo")הרישיון
הרישיון מוגדר בתור other. בכרטיס המאגר אין פירוט של תנאי השימוש המסחריים, זכויות היצירה או חובת השיתוף, והיוצרים מפנים לקובץ LICENSE שנמצא במאגר. עד שלא בודקים את הקובץ הזה ספציפית, אי אפשר לדעת אם מותר לאמן עליו מודלים מסחריים או מה המגבלות שחלות על תוצרי האימון.