TransPhy3D

מה זה

המאגר מכיל 11 אלף רצפי וידאו שרונדרו בתוכנת בלנדר עם מנוע Cycles. הסצנות מורכבות מחפצים סטטיים ומודלים פרוצדורליים בעלי צורות מגוונות, ששולבו עם חומרי זכוכית, פלסטיק ומתכת. המטרה היא לתת מענה לתופעות אופטיות מורכבות של שקיפות והשתקפות, שבהן חיישנים פיזיים בעולם האמיתי נכשלים לחלוטין.

המבנה הפנימי מחולק לכמה תיקיות עיקריות. ישנו חלק ייעודי של צורות פרוצדורליות עם פיצול לאימון, ולידציה ובדיקה, ולצידו חלוקה ראשית של אימון ובדיקה שמבוססת על מגוון קטגוריות של חפצים. כל רצף נשמר ומאורגן בקובצי ארכיון נפרדים.

מתאים ל

• הערכת עומק לשקיפות

  אימון מודלים לחיזוי עומק מדויק דרך זכוכית, נוזלים ומשטחים שקופים בווידאו.

• חישוב נורמלים למשטחים

  שחזור כיווני פני שטח של חפצים מבריקים ומחזירי אור מסצנות מרונדרות.

• התאמת מודלי דיפוזיה

  הסבת ארכיטקטורות של דיפוזיה בווידאו להבנת תכונות גיאומטריות של חומרים.

איפה זה נופל

הנתונים כולם סינתטיים ומגיעים ישירות ממנוע רינדור. זה אומר שאין כאן רעש של מצלמות אמיתיות, לכלוך או שריטות על משטחים, והתאורה תמיד מתנהגת לפי מודל ממוחשב אידיאלי. מודל שתאמנו רק על החומר הזה עלול לקרוס כשיפגוש זכוכית אמיתית בתנאי תאורה משתנים או עם חיישן וידאו רועש, ולכן תצטרכו לבדוק אותו מול דגימות אמיתיות לפני שילוב במוצר.

איך טוענים

הנתונים ארוזים ביותר מ־11,000 קובצי tar, ללא צורך בהרשאת גישה מיוחדת להורדה. המאגר כולל סקריפט הדגמה בשם load_demo.py שמקבל נתיב לקובץ tar ומחלץ מתוכו קובצי וידאו בפורמט mp4 עבור צבע, עומק ונורמלים. כדי לעבוד איתו בצורה יעילה תצטרכו להכין מראש סקריפטים לפריקה מקבילית ולאחסון מהיר, כי טיפול באלפי ארכיונים קטנים עלול לחנוק את מערכת הקבצים.

from datasets import load_dataset

ds = load_dataset("Daniellesry/TransPhy3D")

הרישיון

הרישיון הוא Apache 2.0. הוא מתיר שימוש מסחרי ומחקר חופשי, מאפשר לשנות את הנתונים ולא מחייב אתכם לשחרר את המודלים שתאמנו באותו הרישיון. הדרישה העיקרית היא מתן קרדיט ושמירה על הודעות זכויות היוצרים המקוריות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗