MV-Adapter-Img2Texture

מה זה

אתם מעלים קובץ תלת-ממד וקובץ תמונה שמשמשת כהשראה למראה שלו. בצד השני אתם מקבלים גלריית תמונות מזוויות שונות ומודל תלת-ממדי סופי בפורמט GLB עם הטקסטורה החדשה, שמוכן להורדה ישירה דרך הממשק. בממשק יש גם דוגמאות מובנות של קובצי תמונה עם מודלים בפורמט GLB שמאפשרות לבדוק את התהליך בלי להעלות קבצים משלכם.

מאחורי הקלעים רצה שרשרת מודלים מורכבת. המערכת משתמשת ב־BiRefNet כדי לחתוך רקעים, ב־Stable Diffusion XL ו־Stable Diffusion v1.5 יחד עם תיקון VAE כדי לייצר את המראה, וב־mv-adapter כדי לתאם את הזוויות. לבסוף, מודל של dtarnow מגדיל את הרזולוציה ומייצר פריסת UV ישירות על גבי הרשת הגיאומטרית של המודל.

מתאים ל

• הלבשת טקסטורה על מודל

  לקיחת קובץ תלת-ממד חלק וצביעתו לפי מראה של חפץ מתמונה אמיתית.

• יצירת זוויות מרובות

  הפקת תצוגות מזוויות שונות של אובייקט מתמונה אחת בעזרת mv-adapter.

• פריסת UV אוטומטית

  יצירת מפת טקסטורה מיושרת ישירות על גבי קובץ GLB מוכן להורדה.

איפה זה נופל

הבעיה המרכזית כרגע היא טכנית לחלוטין: הדף נמצא במצב שגיאת ריצה ולכן אי אפשר להשתמש בו ישירות בדפדפן. מעבר לכך, התהליך אינו יוצר מודל תלת-ממד מאפס אלא דורש מכם להביא רשת קיימת שתתאים למבנה שבתמונה. אם הרשת הגיאומטרית שהעליתם שונה מאוד מהאובייקט המצולם, מפות ה־UV והטקסטורה יתעוותו לחלוטין ולא תקבלו תוצאה שמישה בלי התאמה ידנית.

איך משתמשים

בממשק מעלים את המודל ואת תמונת הרפרנס, ולוחצים על הכפתור הראשי ליצירת הטקסטורה. בהגדרות המתקדמות אפשר לקבוע טקסט מנחה, כמות צעדי ריצה, גודל מפת UV ואפשרות לפריסה אוטומטית של הגיאומטריה. תהליך העיבוד מציג מד התקדמות בזמן אמת, אך נכון לעכשיו לא ניתן להריץ אותו כלל בדפדפן כי הדף מדווח על תקלת ריצה פנימית. כשהשרת פועל תקין, הוא נשען על חומרת zero-a10g שמקצה כרטיס גרפי לפי דרישה, מה שמחייב בדרך כלל המתנה קצרה לעליית המשאבים לפני שמתחיל החישוב בפועל.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, העתקה, שינוי ושילוב בקוד מסחרי או פרטי. הקבצים והתמונות שאתם מעלים מעובדים בשרתי האפליקציה לצורך יצירת הטקסטורה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗