ICON

מה זה

מעלים תמונת אדם או מייצרים אחת במקום באמצעות מודל StyleGAN Human שמחובר לממשק. המערכת מחזירה רשת תלת ממדית של האדם הלבוש, סרטון וידאו של הסיבוב שלו, מודל גוף בסיסי בתקן SMPL וקובץ פרמטרים מסוג npy להורדה.

הצינור מתבסס על שילוב בין רשתות. תחילה מופקת הערכת תנוחה ומבנה גוף באמצעות PyMAF ו־SMPL, ומשם ארכיטקטורת ICON משחזרת גיאומטריה מפורטת של הבגדים והקפלים מתוך מפות נורמלים. בדוגמאות הממשק טוען קובצי תמונות מוכנים מתיקיית הדוגמאות ומצמיד להם סוגי מודלים לבדיקה מהירה.

מתאים ל

• שחזור רשת תלת ממד

  הפקת מודל גוף לבוש כולל קפלי בגדים מתוך תמונת סטילס יחידה לשימוש בתוכנות גרפיקה.

• חילוץ פרמטרי גוף

  הורדת קובץ npy עם נתוני תנוחה וגוף של SMPL לצורכי מחקר והנפשה ממוחשבת.

• הדמיית דמויות סינתטיות

  יצירת דמויות אקראיות באמצעות שילוב מובנה של StyleGAN Human ובדיקת שחזורן בתלת ממד.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה נמצאת במצב שגיאה ולא מבצעת חישובים בדפדפן כרגע. מי שבונה עליה צריך לדעת שההדגמה בדף לא פעילה. מעבר לכך, היא מוגבלת לתמונות של אדם בודד בעמידה ברורה, והחיבור לתמונות סינתטיות עלול לייצר עיוותים אם הדמות חתוכה או מטושטשת. אין כאן אפשרות לעבד וידאו ברצף, אלא רק תמונות סטילס בודדות, ולכן לבדיקות אמיתיות עדיף לפנות ישירות לקוד בגיטהאב או למחברת הקולאב המקושרת בתיעוד.

איך משתמשים

בממשק אפשר לבחור תמונה מתוך הדוגמאות, להעלות קובץ מקומי, או לקבוע ערכי seed ו־psi וללחוץ על כפתור יצירת תמונה. לאחר שהתמונה מוכנה לוחצים על כפתור השליחה כדי להתחיל את תהליך השחזור.

האפליקציה רצה בסביבת docker על גבי מאיץ t4 small. עם זאת, נכון לעכשיו סטטוס הריצה מדווח על שגיאת זמן ריצה, כך שהממשק לא מגיב בפועל בדפדפן. במצב עבודה תקין על חומרה כזו, עיבוד תלת ממד מבוסס נורמלים דורש לרוב המתנה של עשרות שניות לכל תמונה.

הרישיון

הרישיון של המרחב לא דווח כלל במאגר. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד או בתוצרים שמופקים דרכו, ולא ברור מה מעמד הקבצים שמועלים לשרת. לצורכי מחקר יש לבדוק את תנאי הרישיון המקוריים של הפרויקטים ומודל SMPL בנפרד.

הרישיון המלא ב־Hugging Face ↗