multi-view-diffusion

מה זה

הממשק מציע שתי דרכים לעבודה. בלשונית הראשונה מקלידים תיאור טקסטואלי רגיל של מה שרוצים לראות. בלשונית השנייה מעלים תמונה קיימת, עם אפשרות להוסיף הנחיית טקסט קצרה שמכוונת את התוצאה.

הפלט שמתקבל בצד ימין הוא תמונה אחת שמציגה את האובייקט מכמה זוויות שונות. המערכת מריצה צינורות עיבוד של דיפיוז'ן שמבוססים על המחקרים של MVDream ושל ImageDream, שנועדו במקור לשמור על עקביות בין מבטים שונים לצורך בניית מודלים תלת ממדיים.

הקוד עצמו טוען מודלים ייעודיים של dylanebert דרך ספריית diffusers, אחד עבור יצירה מטקסט והשני עבור יצירה מתמונה. במקום להתעסק עם סקריפטים מורכבים, מקבלים את תמונות הזוויות ישר בתוך הדפדפן.

מתאים ל

• יצירת זוויות מטקסט

  כותבים תיאור של דמות או חפץ ומקבלים תמונה שמציגה אותו מכמה כיוונים שונים לצורך עיצוב ראשוני.

• הרחבת תמונה קיימת

  מעלים תמונה דו ממדית יחידה של פריט כדי לייצר זוויות נוספות שלו באופן אוטומטי.

• בדיקת מודלים למחקר

  השוואה מהירה בין תוצאות של ImageDream ושל MVDream ישירות מתוך סביבת gradio.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה מדווחת על CONFIG_ERROR ולכן לא פעילה כרגע. מעבר לכך, היא לא מייצרת קובץ תלת ממדי אמיתי כמו רשת או ענן נקודות, אלא רק תמונה שטוחה עם כמה זוויות. מי שבונה על מודל מוכן להדפסה או למשחק יצטרך לקחת את התוצאות ולהעביר אותן שלב נוסף של שחזור תלת ממדי.

איך משתמשים

נכנסים לממשק ובוחרים אם לעבוד עם טקסט או להעלות קובץ תמונה. לוחצים על כפתור Generate Multi-View Images כדי להתחיל את העיבוד. העמוד מוגדר לרוץ על חומרת zero-a10g שמקצה כרטיס גרפי בעת ההפעלה, אבל כרגע האפליקציה נמצאת במצב של שגיאת הגדרה, כך שאי אפשר להריץ אותה ישירות בדפדפן עד שהיוצר יתקן את הקובץ.

הרישיון

הפרויקט מפורסם תחת רישיון MIT שמאפשר שימוש חופשי, כולל מסחרי ושינוי של הקוד. המידע על השימוש בתמונות המועלות או שנוצרות תלוי בהגדרות השימוש של השרת שבו הממשק מאוחסן.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗