Objaverse-MIX
קוד פתוחBAAIcc-by-4.02023-09-12
המאגר מרכז תצוגות מרונדרות וייצוגי נפח תלת ממדיים שנבנו על בסיס נכסים מתוך Objaverse. הוא מיועד ישירות למי שמאמן מודלים של שחזור תלת ממד מתמונות או למידה גיאומטרית.
- 3,274הורדות בחודש
- 20לייקים
מה זה
הנתונים מחולקים לשני רכיבים עיקריים שמרחיבים את אובייקטי התלת ממד של Objaverse המקורי. החלק הראשון מכיל נתוני תפוסה וענני נקודות בפורמט שמתאים ישירות למבנה של רשתות תפוסה. לא מדובר כאן ברשתות מצולעים גולמיות, אלא בייצוג שנועד לאימון מודלים של גיאומטריה רציפה.
החלק השני מציג תמונות מרונדרות שנוצרו על בסיס קוד הרינדור של zero123, כאשר התהליך נעשה באמצעות מנוע Eevee. הרינדורים בוצעו מתוך שתים עשרה זוויות צילום קבועות על גבי ספירה ברדיוס של שתיים. הזוויות האלו ממוספרות מ־12 עד 23 ומכסות את חזית האובייקט, הצדדים, מבט עליון ותחתון, לצד שש נקודות נוספות בזוויות פולאריות של 45 ו־135 מעלות.
הכרטיס לא מפרט תהליכי סינון מיוחדים שנעשו על המודלים עצמם. התוכן כולו נשען על קבצים שרונדרו ועובדו מראש מתוך הדאטהסט המקורי כדי לחסוך את שלב עיבוד הנתונים הגיאומטריים.
מתאים ל
- אימון Occupancy Networks
שימוש ישיר בענני הנקודות ונתוני התפוסה לאימון מודלים גיאומטריים של שחזור משטחים.
- שחזור תלת ממד מתמונות
אימון מודלים ליצירת ייצוג נפחי מתמונה בודדת או מכמה זוויות קבועות.
- הערכת מודלי zero123
בדיקת איכות של מודלים שמנחשים זוויות מבט חדשות על בסיס שתים עשרה הזוויות הקבועות.
איפה זה נופל
הכרטיס לא מוסר מידע על גודל הקבצים הכולל בדיסק, על שיטות סינון של מודלים פגומים או על חלוקה מוגדרת מראש לאימון ומבחן. בנוסף, הרינדור נעשה כולו בזוויות צילום קבועות מראש וברדיוס אחיד, כך שהנתונים לא מייצגים מרחקים משתנים או מצלמות עם זוויות אקראיות. אין כאן נתוני טקסט או שפות, והאיכות תלויה לחלוטין במה שנכלל במקור בתוך Objaverse.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון המוגדר הוא cc-by-4.0, ולכן שימוש מסחרי מותר. החובה העיקרית היא מתן קרדיט מתאים ליוצרים על השימוש בנתונים.
מה ההבדל בין המאגר הזה לבין Objaverse המקורי?
במקום להוריד מודלים תלת ממדיים שלמים ולרנדר אותם לבד, כאן הנתונים כבר עובדו מראש. יש בו תמונות שרונדרו במנוע Eevee מתוך שתים עשרה זוויות מדויקות, וכן נתוני תפוסה מוכנים לאימון.
האם יש במאגר תמיכה בטקסט או בעברית?
לא. מדובר במאגר של תמונות מרונדרות ונתונים גיאומטריים של אובייקטים בלבד, ללא שדות טקסטואליים או תיאורים בשפה כלשהי.
איך מחלצים את הנתונים לעבודה מקומית?
הקבצים מאוחסנים בארכיונים דחוסים ומפוצלים בפורמט 7z.001 ו־7z.002. צריך להוריד את כל החלקים של אותה סדרה לחלץ אותם יחד לפני שאפשר לטעון את המידע לקוד האימון.
איך טוענים
אין צורך בבקשת גישה מיוחדת כדי להתחיל להוריד. המאגר מכיל 484 קבצים שמחולקים לארכיוני 7z מפוצלים, למשל קובצי occupancies שמחולקים לחלקים עם סיומות ממוספרות. כדי לעבוד איתם תצטרכו להוריד את החלקים השונים ברצף, לחלץ אותם מקומית ולחבר את נתוני התפוסה והתמונות המרונדרות לפי המבנה שמצפה לו הקוד שלכם.
from datasets import load_dataset
ds = load_dataset("BAAI/Objaverse-MIX")הרישיון
הרישיון המדווח הוא cc-by-4.0. אפשר להשתמש בנתונים למטרות מסחריות ומחקריות, בכפוף למתן קרדיט מתאים ליוצרים. הרישיון לא מחייב שיתוף של מודלים מאומנים תחת אותו רישיון בדיוק, אבל הוא דורש לציין את המקור ואת השינויים שבוצעו אם מפיצים את הנתונים עצמם מחדש.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס