StdGEN

מה זה

אתם מעלים תמונת רפרנס בודדת בגודל שלוש מאות שמונים וארבע על שלוש מאות שמונים וארבע פיקסלים, או בוחרים מתוך דוגמאות התמונות שמגיעות עם הממשק. התהליך מתחיל בהמרת הדמות למנח פריסה מסוג A-pose, משם מפיק זוויות צפייה שונות ומייצר רשתות תלת ממד נפרדות לרכיבים שונים לצד מודל שלם. בסוף אפשר להריץ שלב עידון שמחליק ומשפר את הרשתות הסופיות.

מאחורי הקלעים הקוד מסתמך על שרשרת מודלים מוכרים וניסיוניים. הוא משתמש בגרסאות שונות של Stable Diffusion כדי להשלים ולייצר זוויות, מפעיל את DINO של מטא לצורך חילוץ מאפיינים חזותיים, נעזר ב־DDPM של גוגל לדמויות פנים, ומשתמש ב־Shap-E של OpenAI יחד עם המודל הייעודי StdGEN לצורך שחזור הגיאומטריה התלת ממדית.

מתאים ל

• המרת איור לתלת ממד

  יצירת מודל תלת ממדי ראשוני מאיור דו ממדי של דמות עבור משחקים.

• יישור דמות למנח עבודה

  הפיכת דמות בתנוחה חופשית לתנוחת A-pose תקנית שמתאימה להנפשה.

• פירוק רשתות גוף

  הפקת מודל שמחולק מראש למספר רשתות גיאומטריות נפרדות לעריכה נוחה.

איפה זה נופל

הבעיה המיידית היא שהחלל מוגדר במצב של תקלת ריצה ולא מגיב כרגע. מעבר לזה, התהליך מוגבל בבירור לתמונות של דמויות בלבד ולא יתאים לחפצים כלליים, סביבות או חיות. שרשרת המודלים מורכבת מאוד, וכאשר מעבדים תמונות שלא צולמו ברקע נקי או בתאורה חדה, המעבר מתמונה דו ממדית לחלקי גוף מופרדים עלול להתעוות עוד בשלב הפקת הפוזה הראשוני.

איך משתמשים

העבודה בנויה בארבעה שלבים עוקבים. מעלים תמונה ובוחרים סיד, לוחצים על כפתור ההמרה לפוזה, משם מייצרים זוויות נוספות, בונים את הרשתות התלת ממדיות ולבסוף מפעילים עידון בלחיצה על Refine. הממשק מבוסס גרדיו ורץ רשמית על מעבד בסיסי בלבד. המפרסם הגדיר שימוש במודול spaces עבור משאבים כבדים, אבל במצב הנוכחי העמוד מדווח על שגיאת ריצה כללית ואי אפשר להריץ אותו ישירות בדפדפן בלי תיקון מקוד המקור.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0. הרישיון מאפשר שימוש חופשי בקוד, שינוי שלו והפצה, כולל שימוש מסחרי, בתנאי ששומרים על הודעות זכויות היוצרים המקוריות. לגבי התמונות שמעלים והתוצרים שמתקבלים, מומלץ לבדוק את תנאי השימוש של השרת הציבורי שבו הדף מאוחסן.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗