rome

מה זה

אתם מעלים תמונת מקור של פנים, ובוחרים איך להניע אותה. אפשר להעלות תמונה אחרת, סרטון וידאו מוכן, או להקליט תנועה ישירות ממצלמת הרשת. הפלט הוא תמונה מעובדת או קובץ אנימציה מסוג גיף שמציג את הדמות המקורית מחקה את ההבעות והזוויות של סרטון הנהג.

מאחורי הקלעים הקוד מתבסס על מחקר של מעבדות סמסונג בשם ROME ליצירת רשת תלת מימדית של ראש מתמונה אחת. הוא משלב כמה מודלים במקביל: משקלי ROME, מודל DECA לשחזור מבנה הפנים, ורשת MODNet שגוזרת את הרקע מהפורטרט. בממשק יש גם דוגמאות מובנות שלוקחות תמונה של לינקולן ומניעות אותה לפי צילומים של אדם בשם טראס.

מתאים ל

• הנפשת תמונות סטילס היסטוריות

  לקיחת דיוקן קיים כמו ציור או צילום ישן והנעת הפנים בעזרת סרטון קצר מהמצלמה.

• יצירת דמויות למשחקים

  בדיקת היתכנות מהירה לבניית רשת פנים תלת מימדית מתמונה יחידה לצורך אנימציה.

• מחקר בתחום לכידת פנים

  השוואת התוצאות של שילוב DECA ו־MODNet מול מודלים אחרים של אווטארים מבוססי תמונה.

איפה זה נופל

נכון לעכשיו אי אפשר להריץ את ההדגמה ברשת כי היא תקועה במצב שגיאת בנייה (BUILD ERROR). גם אם תתקנו את הקוד ותריצו בעצמכם, השיטה מוגבלת לראש בלבד ולא תתמודד טוב עם גוף מלא, תאורה קיצונית או תנועות ראש חדות שחושפות זוויות שלא הופיעו בתמונת המקור.

איך משתמשים

במצב תקין נכנסים לאחת משלוש הלשוניות לפי סוג הקלט: תמונה, וידאו או מצלמת רשת. מעלים את הקבצים ולוחצים על כפתור Predict. המערכת מוגדרת לרוץ על חומרת t4-small, כך שעיבוד וידאו מלא או רינדור תלת מימדי לוקח זמן ולא קורה בזמן אמת, בטח כשמדובר ביצירת קובץ גיף.

הרישיון

הרישיון של המרחב לא דווח. בקוד יש הפניות לפרויקט של סמסונג, אבל בלי הגדרת רישיון מסודרת אסור להשתמש בתוצרים לצרכים מסחריים, ואין ערובה לפרטיות של תמונות שמעלים לשרת חיצוני.

הרישיון המלא ב־Hugging Face ↗