GPT
U

UrbanSyn

קוד פתוח

UrbanSyncc-by-sa-4.02024-01-19

  • Urban Scenario
  • Autonomous Driving
  • Synthethic data

מאגר סינתטי פוטו-ריאליסטי של סצנות נהיגה עם תיוגי עומק, סגמנטציה ותיבות תחימה. הוא מיועד לסגירת הפער בין דאטה סינתטי למציאות במודלים של ראייה ממוחשבת.

  • 24,091הורדות בחודש
  • 28לייקים

מה זה

המאגר כולל יותר מ 7.5k תמונות סינתטיות של תרחישי נהיגה עירוניים, שנוצרו באמצעות שילוב של תוכן פרוצדורלי, נכסים גרפיים שנבחרו ידנית, רינדור מסוג path tracing וסינון רעשים מבוסס בינה מלאכותית. מטרת הפרויקט היא לספק נקודת מוצא חזקה לאימון מודלים של התאמת תחום, ללא צורך בצילומים אמיתיים בשלב הראשוני.

הנתונים מחולקים לתיקיות לפי סוג המידע. תיקיית rgb כוללת תמונות צבע ברזולוציה של 2048x1024 בפורמט PNG. תיקיות ss ו ss_colour כוללות סגמנטציה סמנטית לפי 19 מחלקות האימון המוכרות מ Cityscapes. תיקיית panoptic מכילה סגמנטציית מופעים עבור אובייקטים דינמיים, תיקיית depth מחזיקה מפות עומק בקובצי EXR, ותיקיית bbox2D מספקת קובצי JSON עם תיבות תחימה דו ממדיות.

מתאים ל

  • אימון סגמנטציה סמנטית

    אימון רשתות לזיהוי כביש, מדרכות ועצמים לפי 19 המחלקות הסטנדרטיות.

  • הערכת עומק בסצנות רכב

    שימוש במפות ה EXR לפיתוח וכיול מודלים של חיזוי עומק מתמונה בודדת.

  • זיהוי עצמים דינמיים

    זיהוי רכבים והולכי רגל בטווח של עד 110 מטר באמצעות תיבות תחימה מוגדרות.

איפה זה נופל

התמונות נוצרו כולן במחשב ואינן מציגות כבישים אמיתיים. הסימולציה מוגבלת לתנאים שרונדרו, ללא ייצוג לסביבות דרך מגוונות מישראל או תנאי קצה שלא נכללו במנוע הרינדור. בנוסף, תיבות התחימה הדו ממדיות בתיקיית bbox2D מתעדות אך ורק אובייקטים דינמיים שנמצאים במרחק של עד 110 מטרים מהמצלמה ושגודלם עולה על 150 פיקסלים. כל עצם קטן יותר או מרוחק יותר אינו מתוייג בקבצים אלה.

שאלות
נפוצות

האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?

כן, הרישיון מאפשר שימוש מסחרי ומחקרי כאחד. עם זאת, חלה חובת ייחוס ושיתוף תחת אותו רישיון עבור נגזרות, ואסור להשתמש בדאטה לאימון מודלים גנרטיביים שמטרתם שחזור הנכסים הגרפיים או יצירת תכנים למאגרי תמונות מסחריים.

איך המידע נוצר ונאסף?

הנתונים לא צולמו במצלמה אלא נוצרו ברינדור ממוחשב. החוקרים שילבו סביבות פרוצדורליות ונכסים תלת ממדיים עם מנוע path tracing וסינון רעשים מבוסס רשתות כדי להפיק סצנות פוטו-ריאליסטיות.

האם יש במאגר טקסטים או שילוט בעברית?

לא. שפת המאגר היא אנגלית, והסצנות מייצגות סביבות עירוניות כלליות שאינן כוללות שילוט או כיתוב מקומי בעברית.

מה מבנה הנתונים של תיבות התחימה?

הנתונים שמורים בקובצי JSON עבור כל תמונה. כל רשומה כוללת את גבולות התיבה בארבע נקודות קיצון, שם המחלקה, אחוז החסימה של האובייקט והצבע המזהה שלו במפת הסגמנטציה.

איך טוענים

טוענים את המאגר ישירות באמצעות snapshot_download מספריית huggingface_hub עם המזהה UrbanSyn/UrbanSyn. אין צורך באישור גישה מיוחד, המאגר פתוח להורדה. מדובר ב 45,238 קבצים בסך הכל שכוללים תמונות PNG ברזולוציה גבוהה ומפות עומק בפורמט EXR, כך שצריך להיערך לאחסון מקומי משמעותי וזמן פריקה ממושך. לקריאת תיבות התחימה טוענים את קובצי ה JSON, שבהם מקבלים קואורדינטות, אחוזי חסימה, צבע המופע ומחלקה.

from datasets import load_dataset

ds = load_dataset("UrbanSyn/UrbanSyn")

הרישיון

המאגר שוחרר תחת רישיון cc-by-sa-4.0 המאפשר שימוש למחקר ושימוש מסחרי, אך כולל דרישת שיתוף זהה ומחייב ייחוס ליוצרים. בנוסף, קיימת הגבלה מפורשת האוסרת להשתמש בנתונים בטכנולוגיות בינה מלאכותית יוצרת כדי לבצע הנדסה לאחור של נכסי הגרפיקה או לייצר תוכן עבור פלטפורמות סטוק.

  • שימוש מסחרי
  • שינוי הקוד
  • חובת שיתוף באותו רישיון

הרישיון המלא ב־Hugging Face ↗