OctoSense
קוד פתוחanthonytec2mit2026-06-11
המאגר מרכז הקלטות רב חיישניות מסונכרנות של נהיגה, סירה ורובוט על ארבע, כולל מצלמות אירועים, ליידאר ועומק מטרי. הוא פותר את הקושי במציאת מידע משולב של חיישנים מהירים לצד מפות עומק ואודומטריה.
- 8,656הורדות בחודש
- 34לייקים
מה זה
הנתונים מורכבים מ־382 רצפים שמתחלקים ל־371 מקטעי נהיגה ברכב, 9 מקטעים על סירה ו־2 על גבי רובוט Unitree. הרצפים ברכב כוללים צילום סטריאו ב־100 הרץ, מצלמות אירועים, חיישן תרמי, ליידאר Ouster, שתי יחידות אינרציאליות, נתוני רשת הרכב ומקלטי לוויין. החלוקה הכללית כוללת 293 רצפי אימון ו־78 רצפי מבחן.
איסוף הרכב בוצע בלונג איילנד ובפילדלפיה במזג אוויר ותנאי תאורה שונים, שכוללים יום, לילה ודמדומים. התיוגים נבנו בכלים אוטומטיים: העומק המטרי נדגם מצבירה של סריקות ליידאר בניכוי עצמים נעים עם מודל זיהוי, וסגמנטציה סמנטית של 19 מחלקות הופקה ממודל על גבי 303 רצפי יום בלבד.
מתאים ל
- הערכת תנועה ואודומטריה
אימון ובדיקת אלגוריתמי ניווט משולבי ליידאר, אינרציה ומצלמות אירועים מהירות על סמך מסלול מאוחד של מיקום לווייני.
- הערכת עומק מרובת חיישנים
בניית מודלים לעומק מטרי מתמונות צבע, אינפרא אדום ואירועים, תוך השוואה מול סריקות ליידאר מצטברות של 64 ערוצים.
- ניתוח מצבי נהיגה בלילה
פיתוח מערכות תפיסה לרכבים בתנאי תאורה קשים באמצעות מצלמה תרמית, סטריאו מהיר וחיישני אירועים ללא תלות באור יום.
- מחקר תנועה ברובוטיקה
אימון מערכות תפיסה ובקרה לרובוט ארבע-רגלי באמצעות נתוני מנועים, זרמים וכוחות מגע של הרגליים לצד ענני נקודות.
איפה זה נופל
חלק גדול מהתיוגים אינם נתוני אמת אנושיים אלא תוצר של מודלים. הסגמנטציה הסמנטית היא פסאודו-לייבל שקיים ברצפי יום בלבד, והזרימה האופטית מחושבת רק מתנועת הרכב העצמית ומתעלמת לחלוטין מעצמים שנעים בסביבה.
קיימים כשלים טכניים נקודתיים שצריך לבודד לפני אימון. חמישה רצפים סובלים מניתוקי חיישנים מעל עשר שניות, לשלושה אין קליטת מיקום שמישה, ובחמישה נוספים אין מסלול מאוחד. בנוסף, הכיול התרמי בוצע בדיעבד ללא לוח חום ייעודי והוא מוגדר כמקורב בלבד, נתוני רשת הרכב מבוססים על פענוח ניסיוני, ותמונות הצבע לא עברו תיקון גוונים ונראות גולמיות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. המאגר משוחרר ברישיון MIT המאפשר שימוש מסחרי מלא. מותר לאמן מודלים, לשלב את הקוד במוצרים סגורים ולהפיץ אותם, בתנאי שמצרפים את הצהרת הרישיון המקורית.
כמה מקום בדיסק צריך כדי להוריד את כל הדאטה?
רצפי הרכב בלבד שוקלים 8.43 טרה בייט. אם מדלגים על קובצי מצלמות האירועים, שמהווים כ־78 אחוזים מנפח כל רצף, אפשר לחתוך את רוב המשקל ולהסתפק בנפח קטן בהרבה.
האם יש במאגר טקסט או תיוגים בעברית?
אין שום תוכן בעברית. כל התיאורים לקטעי הווידאו הופקו באנגלית על ידי מודל Gemma-4-31B, והמידע הגיאוגרפי נאסף כולו בארצות הברית.
איך נוצרו תיוגי העומק והסגמנטציה?
מפות העומק נבנו מצבירה של 61 סריקות ליידאר לאורך כשש שניות, תוך מחיקת רכבים והולכי רגל שזוהו עם YOLO כדי למנוע מריחות. תיוגי הסגמנטציה נוצרו ממודל EoMT של 19 מחלקות על בסיס תמונות היום בלבד, כך שלא מדובר בתיוג ידני.
איך טוענים
הנפח הכולל של רצפי הרכב עומד על 8.43 טרה בייט, כאשר כ־78 אחוזים מהנפח שייכים לקובצי מצלמות האירועים. הגישה למאגר פתוחה ישירות בשרתי האגינג פייס ללא צורך באישור ידני. כדי לחסוך מקום, מומלץ להשתמש בסקריפט ההורדה הרשמי ולסנן מודלויות כמו אירועים שלא נחוצות לכם. המידע שמור בקובצי HDF5 עבור החיישנים והאודומטריה, וידאו H.265 למצלמות, וטבלת parquet שמרכזת את המטא-דאטה ומאפשרת לסנן רצפים לפי איכות קליטת לוויין או מזהה כלי הרכב.
from datasets import load_dataset
ds = load_dataset("anthonytec2/OctoSense")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש מסחרי, שינוי והפצה של הנתונים, ללא דרישה לשתף תוצרים או מודלים באותו הרישיון. התנאי היחיד הוא שמירת הודעת זכויות היוצרים ונוסח הרישיון המקורי בקוד או בתוכנה שמשתמשים בהם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש