3D-Front

מה זה

המאגר מבוסס על הדאטהסט המקורי 3D-Front של עליבאבא, ועבר התאמה עבור פרויקט MIDI-3D. כל רשומה מייצגת סצנה של חדר מתוך בית, ומכילה מודלים תלת ממדיים של רהיטים בפורמט glb, ענני נקודות של פני השטח בקבצי npy, ותמונות מרונדרות מכמה זוויות שכוללות RGB, עומק, נורמלים ונתוני מצלמה.

התוכן מחולק לשלוש תיקיות עיקריות של רינדורים, מודלים ומשטחים, לצד קובצי json שממפים את המזהים של החדרים והרהיטים. המפרסמים כוללים חלוקה מוגדרת שבה אלף החדרים האחרונים בקובץ midi_room_ids.json משמשים כמערך בדיקה, והשאר מיועדים לאימון.

מתאים ל

• שחזור חדרים מתמונה

  אימון מודלים שמייצרים מודל תלת ממדי מלא של חדר מתוך תמונת RGB יחידה או כמה זוויות.

• הערכת גיאומטריה ועומק

  ולידציה של רשתות לחיזוי מפות עומק ונורמלים מול נתוני המצלמה המדויקים שמגיעים עם הרינדורים.

• סגמנטציה של רהיטים

  זיהוי והפרדה של אובייקטים בודדים בתוך סצנה סגורה לפי קובצי המודלים והעננים.

איפה זה נופל

הנתונים מוגבלים לסביבות פנים ביתיות מבוססות מודלים ממוחשבים ולא סריקות של העולם האמיתי, כך שיש פער מובנה מול צילומים חיים. המאגר מוגדר באנגלית, והכרטיס לא מפרט תהליכי סינון ידניים של רהיטים פגומים או חדרים לא הגיוניים מעבר לחלוקה לקבצי ה־json. אם אתם בונים מערכת שמיועדת להתמודד עם צילום וידאו או תמונות מטלפון נייד, כדאי לקחת בחשבון שהרינדורים כאן סטריליים ונקיים מרעשים אמיתיים.

איך טוענים

לא טוענים את זה עם שורת קוד בודדת בספריית datasets הרגילה. מורידים את המאגר דרך git-lfs, מאחדים קבצים מפוצלים בעזרת cat, ופותחים ארכיוני tar.gz. המאגר כולל 52 קבצים, כך שצריך לוודא שיש מספיק נפח דיסק פנוי לפני החילוץ. למי שרוצה רק לבצע הערכה, המפרסמים מציינים שאפשר להוריד רק את הקבצים שמכילים את המילה test בשם שלהם.

from datasets import load_dataset

ds = load_dataset("huanngzh/3D-Front")

הרישיון

הרישיון הוא cc-by-nc-4.0. המשמעות פשוטה: אין שימוש מסחרי מכל סוג שהוא. אתם חייבים לתת קרדיט ליוצרים, ואם אתם מתכננים לאמן מודל שישולב במוצר שמייצר הכנסות או משרת חברה עסקית, הרישיון הזה חוסם אתכם לחלוטין. זה מיועד אך ורק למחקר ופיתוח פנימי שאינו למטרות רווח.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗