Diffusion4D
קוד פתוחhw-liangapache-2.02024-05-27
מאגר נכסי תלת-ממד דינמיים מרונדרים, שנועד לאימון מודלי וידאו ודיפוזיה ליצירת אנימציות 4D. החוקרים עשו את עבודת הרינדור הכבדה בשבילכם על בסיס מודלים נבחרים מתוך Objaverse.
- 1,175הורדות בחודש
- 33לייקים
מה זה
המאגר כולל מידע ורינדורים של 365,000 אובייקטים דינמיים בתלת-ממד, שנאספו מתוך Objaverse 1.0 וגרסת ה־XL הרחבה יותר. מתוכם, 42 אלף מגיעים מהגרסה הראשונה ו־323 אלף מהרחבת ה־XL, כולם עברו סינון לפי כללים שהחוקרים הגדירו כדי להשאיר נכסים איכותיים בלבד. לצד קובצי המטא-דאטה, היוצרים העלו רינדורים מוכנים שחסכו כמעט שבוע עבודה רציף על שמונה כרטיסי מסך.
התוכן מחולק לפי מקורות הדאטה. עבור הגרסה הראשונה יש סרטוני מסלול של אובייקטים דינמיים, סרטוני מסלול סטטיים וסרטונים מזווית קדמית בודדת. עבור נתוני ה־XL יש רשימות מזהים וארכיונים של תמונות מרונדרות, כשהתיאורים הטקסטואליים לצורך יצירה מטקסט נלקחו ישירות מפרויקט Cap3D.
מתאים ל
- אימון מודלי יצירת 4D
אימון רשתות דיפוזיה שמייצרות מודלים דינמיים ונעים מטקסט או מתמונה בודדת.
- הערכת עקביות מרחבית
בדיקת ביצועים של מודלי וידאו מרובי זוויות על גבי סרטוני מסלול מוכנים.
- רינדור מותאם בבלנדר
שימוש ברשימות המזהים ובסקריפטים כדי להפיק זוויות צילום חדשות לנכסים קיימים.
איפה זה נופל
הנתונים מוגבלים לשפה האנגלית בלבד בכל הנוגע לתיאורי הטקסט שמגיעים מ־Cap3D, כך שמי שמחפש תמיכה בעברית יצטרך לתרגם אותם לבד. מעבר לזה, הסינון מבוסס על חוקים שהחוקרים קבעו, והמקור הוא מודלים גולמיים מהרשת שמגיעים עם איכויות גיאומטריה וטקסטורות לא אחידות. כדאי לבדוק מדגמית את איכות הרינדורים לפני שרצים לאמן מודל גדול, כדי לא לשרוף משאבי חישוב על נכסים עם עיוותים.
שאלות
נפוצות
האם אפשר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
המאגר מוגדר ברישיון apache-2.0 שמתיר שימוש מסחרי. יחד עם זאת, האובייקטים עצמם נאספו מ־Objaverse ומאגרים חיצוניים בגיטהאב, ולכן מומלץ לבדוק את רישיונות המקור של הנכסים הספציפיים לפני שילוב במוצר.
האם יש במאגר תמיכה בטקסטים בעברית?
לא. התיאורים הטקסטואליים מבוססים על פרויקט Cap3D וקיימים באנגלית בלבד. אם המטרה היא יצירת תלת-ממד מהנחיות בעברית, תצטרכו להוסיף שכבת תרגום או לתייג מחדש.
מה ההבדל בין המאגר הזה לבין Objaverse הרגיל?
המאגר הזה מבודד רק את הנכסים הדינמיים והאנימטיביים מתוך Objaverse, ומספק רינדורים מוכנים של תנועה ומסלול. זה חוסך את הצורך לסנן נכסים סטטיים ולרנדר אותם מאפס במאמץ חישובי כבד.
האם חייבים להוריד את כל קובצי הרינדור הכבדים?
לא בהכרח. אפשר להוריד רק את קובצי המטא-דאטה בפורמט CSV ואת רשימות ה־UUID, ולהשתמש בסקריפט הבלנדר שהחוקרים צירפו כדי לרנדר רק את הנכסים הרלוונטיים לפרויקט שלכם.
איך טוענים
אין כאן צורך באישור גישה מיוחד. ההורדה מתבצעת ישירות מהמאגר, אבל צריך לקחת בחשבון שמדובר בקובצי ארכיון מכווצים בפורמטים כמו tar.gz וחלקי zip מפוצלים שדורשים פריסה מסודרת ומקום רב בדיסק. קובצי ה־CSV המצורפים מכילים את המזהים והמיפויים, ודרכם אפשר להחליט אם למשוך את הרינדורים המוכנים או להשתמש בסקריפט הבלנדר של הפרויקט כדי לרנדר מחדש בהגדרות מותאמות.
from datasets import load_dataset
ds = load_dataset("hw-liang/Diffusion4D")הרישיון
המאגר מפורסם ברישיון apache-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי ושינוי הקוד והנתונים, בכפוף למתן קרדיט ושמירה על תנאי הרישיון המקוריים. עם זאת, מכיוון שהאובייקטים עצמם מגיעים מ־Objaverse ו־Objaverse-XL, חובה לוודא שהרישיונות של מודלי התלת-ממד המקוריים תואמים לשימוש שאתם מתכננים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים