TRELLIS-500K
קוד פתוחJeffreyXiangmit2024-12-26
אוסף של כחצי מיליון נכסי תלת-ממד שעברו סינון אסתטי קפדני. הוא מיועד למי שמאמן מודלים של יצירת תלת-ממד מטקסט או מתמונה ומחפש דאטה נקי בלי להתחיל לסנן בעצמו.
- 1,098הורדות בחודש
- 64לייקים
מה זה
המאגר מאגד נכסי תלת-ממד מחמישה מקורות מוכרים בתחום: ObjaverseXL דרך גיטהאב וסקיצ'פאב, ABO, 3D-FUTURE, HSSD ו־Toys4k. במקום לקחת את כל מה שנמצא ברשת, החוקרים סיננו את הנכסים לפי ציון אסתטי כדי להעיף מודלים שבורים, רעש וסריקות גרועות. הסף נקבע על 5.5 עבור ObjaverseXL ועל 4.5 עבור שאר המקורות האיכותיים יותר מראש.
ערכת האימון כוללת 500,777 נכסים, כאשר רוב הנפח מגיע מ־ObjaverseXL, עם 311,843 מודלים מגיטהאב ו־168,307 מסקיצ'פאב. מקורות כמו 3D-FUTURE תורמים 9,472 פריטים, HSSD נותן 6,670 פריטים, ו־ABO מכניס 4,485 פריטים. מתוך כל אלה, ל־494,770 נכסים יש גם תיאורי טקסט נלווים, כך שחלק קטן מגיע ללא כיתוב.
לצד סט האימון, המאגר כולל סט הערכה נפרד שמבוסס על Toys4k עם 3,229 נכסים שעברו סינון בסף אסתטי של 4.5, ומתוכם ל־3,180 יש תיאור טקסטואלי. החלוקה הזו מאפשרת לבחון את המודל ישירות על אובייקטים שלא נכללו באימון הראשי.
מתאים ל
- אימון טקסט לתלת-ממד
אימון מודלים גנרטיביים שמקבלים תיאור מילולי ומייצרים מודל תלת-ממדי מלא.
- יצירת תלת-ממד מתמונה
שימוש בנכסים ובמבטים מרובים שלהם כדי לאמן מודלים שמשחזרים גאומטריה מתמונות.
- הערכת מודלים
בדיקת ביצועים ואיכות של מודלי תלת-ממד על גבי סט המבחן הייעודי מ־Toys4k.
איפה זה נופל
הטקסטים בדאטהסט קיימים רק באנגלית, כך שאי אפשר לאמן ממנו ישירות מודלים שמבינים הנחיות בעברית. בנוסף, יש כ־6,000 נכסים בסט האימון ועוד כמה עשרות בסט ההערכה שאין להם תיאור טקסטואלי בכלל, מה שמחייב בדיקה מקדימה לפני שמשתמשים בהם למשימות טקסט לתלת-ממד. מעבר לזה, המאגר מספק קובצי CSV וקישורים, כך שההורדה בפועל תלויה בזמינות של המקורות החיצוניים.
שאלות
נפוצות
האם המאגר כולל תמיכה בעברית?
לא. כל התיאורים והנתונים הטקסטואליים במאגר מוגדרים באנגלית בלבד. אם רוצים לאמן מודל שיקבל פרומפטים בעברית, תצטרכו לתרגם את הכיתובים בעצמכם או להשתמש במודל שפה חיצוני שמתווך.
האם מותר להשתמש בדאטהסט לצרכים מסחריים?
המאגר מוגדר תחת רישיון MIT שמאפשר שימוש מסחרי ללא דרישה לשיתוף זהה. יחד עם זאת, מאחר שהרשומות מפנות לקבצים מחמישה מקורות שונים כמו סקיצ'פאב ו־ABO, מומלץ לבדוק את תנאי המקור של הנכסים עצמם לפני שמשלבים אותם במוצר.
איך המאגר הזה שונה מ־Objaverse הרגיל?
בניגוד למאגרי מקור שמכילים כמויות עצומות של מודלים לא מסוננים ולעיתים פגומים, כאן נעשה סינון אוטומטי לפי ציונים אסתטיים. זה חוסך את הצורך לנקות את הדאטה לבד ומבטיח איכות ויזואלית בסיסית גבוהה יותר באימון.
האם כל המודלים כוללים תיאור טקסטואלי?
לא כולם. מתוך חצי מיליון נכסים בערכת האימון, יש כ־6,000 נכסים ללא כיתוב טקסט, ובסט ההערכה יש עוד 49 נכסים כאלה. אם המטרה שלכם היא משימת טקסט לתלת-ממד, תצטרכו להשמיט אותם בעזרת סקריפט.
איך טוענים
המאגר מכיל שמונה קבצים, בעיקר קובצי CSV שמפרטים את המטא-דאטה והמזהים של המודלים מכל מקור, כולל קבצים ייעודיים לכל דאטהסט מקור. כדי לעבוד איתו ולהוריד או לעבד את קובצי התלת-ממד עצמם בפועל, צריך להשתמש בכלי העיבוד שפורסמו במאגר הקוד של הפרויקט בגיטהאב תחת מיקרוסופט. אין צורך באישור גישה מיוחד כדי לגשת לנתונים. לפני שמתחילים ריצת אימון של טקסט לתלת-ממד, חובה לוודא שאתם מסננים החוצה נכסים שאין להם כיתוב טקסטואלי ברשומות.
from datasets import load_dataset
ds = load_dataset("JeffreyXiang/TRELLIS-500K")הרישיון
המאגר מפורסם ברישיון MIT, מה שמאפשר שימוש חופשי כולל שימוש מסחרי, שינוי והפצה, כל עוד שומרים על הודעת זכויות היוצרים המקורית. עם זאת, מכיוון שהנתונים נאספו מכמה מקורות חיצוניים כמו סקיצ'פאב ואמזון, כדאי לוודא שאין תנאים מגבילים ברישיונות של נכסי המקור עצמם אם אתם מתכננים להוציא מוצר מסחרי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש