TRELLIS-image-large

מה זה

מדובר במודל שמקבל תמונת דו ממד אחת ופולט ייצוג תלת ממדי של האובייקט, כשהוא מתבסס על מחקר של מיקרוסופט שעוסק במרחב ייצוג מובנה ליצירת תלת ממד. המטרה כאן היא לפתור בעיה מוכרת בתחום, לייצר צורה מדויקת וטקסטורה עקבית בלי עיוותים קשים בחלקים שלא נראו בתמונה המקורית.

בניגוד לכלים ישנים שהסתמכו על תהליכי אופטימיזציה ממושכים שלקחו דקות ארוכות לכל פריט, הארכיטקטורה הזו מייצרת את המבנה ישירות ובמהירות גבוהה בהרבה. המודל מגיע עם משקלים בהיקף של כ־3.1 גיגה בייט, נפח קומפקטי יחסית למשימות גנרטיביות כבדות, מה שמקל על ההורדה והשילוב בסביבות עבודה עצמאיות.

מתאים ל

• יצירת נכסים למשחקים

  ממיר איורי קונספט ראשוניים למודלים תלת ממדיים בסיסיים במהירות, לצורך בדיקות היתכנות בעולם המשחק.

• תצוגת מוצרים באתרי מסחר

  יוצר ייצוג מרחבי מתוך תמונת מוצר סטנדרטית, כדי לאפשר ללקוחות לסובב את הפריט בדפדפן.

• עבודה מהירה למעצבים

  מייצר בסיס גיאומטרי גולמי מתוך תמונה, וחוסך שעות של מידול ידני ראשוני בתוכנות תלת ממד.

איפה זה נופל

הכרטיס הרשמי לא כולל פירוט מעמיק של נקודות תורפה או מגבלות חומרה מדויקות. בפועל, מודלים של תמונה לתלת ממד תמיד מתקשים להשלים אזורים נסתרים לחלוטין בתמונה, כמו הצד האחורי של חפץ מורכב או טקסטורות עדינות.

בנוסף, הוא מוגדר עבור השפה האנגלית, כך שכל מעטפת שמשלבת הנחיות טקסטואליות תצטרך להישאר באנגלית. לפני שמשלבים אותו במוצר שמייצר נכסים למשחקים או להדפסה, חובה לבדוק את איכות הרשת הגיאומטרית שהוא מחזיר ולוודא שהיא לא כוללת חורים או עיוותים.

איך מריצים

כדי להריץ אותו צריך להתקין את ספריית trellis ממאגר הגיטהאב של מיקרוסופט ולמשוך את המשקלים. הקבצים שוקלים כ־3.1 גיגה בייט, כך שלא צריך אחסון מפלצתי, אבל כן תצטרכו כרטיס מסך מודרני של אנבידיה עם זיכרון סביר כדי להחזיק את הייצוג התלת ממדי בזמן הרינדור.

אם אתם בונים שירות שצריך לשרת אלפי בקשות במקביל ואין לכם שרת ייעודי עם כרטיסי מסך חזקים, הקמה ותחזוקה של מכונות כאלה בעצמכם עלולה לעלות לא מעט. במקרים של עומס לא אחיד או ניסוי ראשוני, בדיקה מול נקודת קצה קיימת תחסוך לכם התעסקות עם דרייברים ותלויות סביבה מורכבות.

pip install -U huggingface_hub
hf download microsoft/TRELLIS-image-large

הקבצים

19 קבצים במאגר, 3.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• ckpts/slat_flow_img_dit_L_64l8p2_fp16.safetensors1.2 GB
• ckpts/ss_flow_img_dit_L_16l8_fp16.safetensors1.1 GB
• ckpts/slat_dec_mesh_swin8_B_64l8m256c_fp16.safetensors181.9 MB
• ckpts/slat_enc_swin8_B_64l8_fp16.safetensors173.2 MB
• ckpts/slat_dec_gs_swin8_B_64l8gs32_fp16.safetensors171.5 MB
• ckpts/slat_dec_rf_swin8_B_64l8r16_fp16.safetensors171.5 MB
• ckpts/ss_dec_conv3d_16l8_fp16.safetensors147.6 MB
• ckpts/ss_enc_conv3d_16l8_fp16.safetensors119.1 MB
• pipeline.json2.0 KB
• .gitattributes1.5 KB
• ckpts/slat_dec_gs_swin8_B_64l8gs32_fp16.json843 B
• README.md464 B
• ckpts/slat_flow_img_dit_L_64l8p2_fp16.json442 B
• ckpts/slat_dec_rf_swin8_B_64l8r16_fp16.json396 B
• ckpts/ss_flow_img_dit_L_16l8_fp16.json385 B
• ckpts/slat_dec_mesh_swin8_B_64l8m256c_fp16.json372 B
• ckpts/slat_enc_swin8_B_64l8_fp16.json321 B
• ckpts/ss_dec_conv3d_16l8_fp16.json245 B
• ckpts/ss_enc_conv3d_16l8_fp16.json244 B

הרישיון

הוא מופץ תחת רישיון MIT. זהו רישיון קוד פתוח מתירני מאוד שמאפשר שימוש מסחרי, שינוי של הקוד, הפצה ושילוב בתוך תוכנות קנייניות, כמעט ללא הגבלות. התנאי המרכזי היחיד הוא שמירה על הודעת זכויות היוצרים ונוסח הרישיון המקורי בכל עותק שתפיצו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗