WildDet3D-Data
קוד פתוחallenaicc-by-4.02026-04-05
תיוגי קופסאות תלת ממד לתמונות ממאגרים מוכרים כמו קוקו ולביס. הוא פותר את המחסור בנתוני עומק וזוויות צילום לתמונות טבעיות בלי להגביל את עצמכם לחדרים סגורים או כבישים.
- 806הורדות בחודש
- 22לייקים
מה זה
המאגר מאגד תיוגי תלת ממד לתמונות שמגיעות מארבעה מקורות מוכרים: COCO, LVIS, Objects365 ו־V3Det. הנתונים לא כוללים את התמונות עצמן, אלא קובצי ג'ייסון במבנה COCO3D, מפות עומק בקובצי npz ופרמטרים פנימיים של מצלמות. בכל רשומה תמצאו תיחום דו ממדי, מרכז קופסה תלת ממדית במטרים, מידות אורך רוחב וגובה, מטריצת סיבוב ושמונה נקודות הפינה של הקופסה במרחב המצלמה.
החלוקה הפנימית מפרידה בין איכויות שונות של תיוג. חלק ה־Train Human כולל 102,979 תמונות עם 229,934 תיוגים שעברו בדיקת אדם לאורך 11,879 קטגוריות. גרסת Train Essential מרחיבה את אותן תמונות ל־412,711 תיוגים בעזרת שילוב של מודלי שפה ותמונה לעצמים קטנים על פני 12,064 קטגוריות. החלק הסינתטי הגדול מכיל 896,004 תמונות ו־3,483,292 תיוגים שנוצרו וסוננו אוטומטית על ידי מודלי VLM, ומכסה 11,896 קטגוריות.
בנוסף קיימים קובצי מסכות סגמנטציה בנפרד עבור Objects365 ו־V3Det שנוצרו עם SAM2, המיועדים לשלבי אימון מתקדמים שדוגמים נקודות מתוך מסכות עצמים.
מתאים ל
- אימון זיהוי תלת ממדי
לימוד קופסאות תלת ממד ועומק ישירות מתמונות רגילות ללא צורך בחיישני לידאר יקרים.
- הערכת מודלי ראייה מרחבית
בדיקת דיוק של מודלי שפה ותמונה בהערכת מרחקים וגדלים פיזיים בעולם האמיתי.
- אימון משולב מסכות ותלת ממד
שימוש במסכות SAM2 יחד עם נתוני העומק והקופסאות להבנה מרחבית מדויקת של עצמים.
איפה זה נופל
חלק ניכר מהתיוגים הוא סינתטי לחלוטין ונבחר על ידי מודלים, מה שעלול להכניס שגיאות גאומטריות שלא קיימות בתיוג ידני. הנתונים מוגבלים לתמונות המקוריות שנאספו במאגרים המקוריים, ללא ייצוג מקומי או הקשר ישראלי ייעודי. בנוסף, נדרשת עבודת הכנה ידנית משמעותית כי המאגר אינו מחזיק את התמונות בעצמו, ודאטה שלא עובר סינון לפי הדגל הייעודי יזהם את האימון בערכים פגומים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
התיוגים והמצלמות שמפורסמים כאן מוגנים ברישיון cc-by-4.0 שמתיר שימוש מסחרי עם מתן קרדיט. יחד עם זאת, את התמונות עצמן מורידים ממאגרים חיצוניים כמו COCO ו־Objects365, ולכל אחד מהם יש תנאי שימוש נפרדים שחייבים לבדוק.
האם המאגר כולל את קובצי התמונות להורדה ישירה?
לא, המאגר מספק אך ורק תיוגים, קובצי עומק, מסכות ופרמטרי מצלמה. עליכם להוריד את התמונות ישירות משרתי המקור של COCO, Objects365 ו־V3Det ולארגן אותן במבנה התיקיות הנדרש.
איך מבדילים בין תיוג אנושי לתיוג מכונה?
החלוקה מובנית בקובצי הנתונים. ישנם קבצים נפרדים לחלק האנושי Train Human, לקבוצת Train Essential שכוללת תוספות של מודלים לעצמים קטנים, ולקובצי Train Synthetic שמבוססים על מודלי VLM בלבד.
למה חלק משדות התלת ממד מכילים ערכים לא הגיוניים?
בכל רשומה יש שדה בשם valid3D. אם הערך שלו הוא false, התיוג התלת ממדי נפסל בסינון האיכות ומכיל ערכי דמי, כך שיש להשתמש רק בקופסה הדו ממדית או לדלג על הרשומה.
איך טוענים
טוענים את התיוגים באמצעות huggingface-cli ומורידים את קובצי ה־JSON, ארכיוני ה־tar.gz של מפות העומק והמצלמות. את התמונות עצמן צריך להוריד ישירות מהאתרים הרשמיים של COCO, Objects365 ו־V3Det ולסדר בתיקיות תואמות. במפות העומק הערכים שמורים במילימטרים כקובצי float32 וצריך לחלק אותם באלף כדי לעבוד במטרים. חובה לסנן כל תיוג לפי השדה valid3D: כשהוא שקר, שדות התלת ממד מכילים ערכי דמי בגלל כשל בבדיקות איכות, ורק התיחום הדו ממדי נשאר שמיש.
from datasets import load_dataset
ds = load_dataset("allenai/WildDet3D-Data")הרישיון
התיוגים מפורסמים תחת רישיון cc-by-4.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה, כל עוד אתם נותנים קרדיט מתאים ליוצרים ומציינים אם נעשו שינויים. אין חובה לשתף מודלים שתאמנו תחת אותו רישיון, אך התמונות המקוריות כפופות לתנאי השימוש הנפרדים של COCO, Objects365 ו־V3Det.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס