StyleGAN-NADA

מה זה

אתם מעלים קובץ תמונה של פנים ובוחרים סגנונות מתוך רשימה. בנוסף אפשר לבחור שיטת עריכה במרחב הלטנטי כמו InterFaceGAN או StyleCLIP, או להישאר בלי עריכת תווים בכלל. הפלט מגיע כגלריית תמונות מעובדות בלשונית אחת, או כקובץ וידאו בלשונית נפרדת שמציג מעברים בין הסגנונות שבחרתם.

מאחורי הקלעים רצים מודלים של StyleGAN2 ו־CLIP לצד מקודד e4e ו־dlib לאיתור הפנים, עם משקלים ספציפיים ממאגרים של jojogan ו־stylegan-nada. בעריכת InterFaceGAN משחקים עם סליידרים של גיל, חיוך, תנוחה, מגדר ואורך שיער. ב־StyleCLIP אפשר להגדיר תיאורי טקסט למקור וליעד לצד סף שליטה בעוצמת השינוי.

מתאים ל

• עריכת סגנון לתמונת פנים

  המרת תמונת פנים יחידה לסגנונות אמנותיים שונים באמצעות בחירת מודלים מוגדרים מראש.

• הנפשת מעברי סגנון בווידאו

  הפקת סרטון קצר המציג מעבר רציף בין מספר סגנונות ויזואליים שנבחרו עבור התמונה.

• שינוי גיל והבעות פנים

  שימוש במחווני InterFaceGAN לכוונון חיוך, תנוחת ראש או גיל על גבי הפנים המעובדות.

איפה זה נופל

הבעיה המיידית היא שהעמוד כלל לא רץ ואי אפשר להפעיל אותו כרגע ברשת. מעבר לזה, המפתחים מציינים במפורש שהמודלים סובלים מהטיות נתונים שיכולות לשנות גווני עור באופן לא רצוי. מחווני העריכה של InterFaceGAN לא פועלים ביחד אלא באופן אקראי בין תמונות, וחלק מהתכונות שלובות זו בזו, למשל שינוי אורך שיער שמשפיע ישירות גם על תפיסת המגדר של הדמות.

איך משתמשים

בפועל אין אפשרות להשתמש בה כרגע בדפדפן כי היא נמצאת במצב של שגיאת בנייה. במקור מעלים תמונה, מסמנים סגנונות, מזיזים את המחוונים ולוחצים על כפתור יצירת התמונה או הפקת הווידאו. לפי הקוד, יצירת וידאו דורשת מאות פריימים ולוקחת כמה דקות טובות, במיוחד בהתחשב בכך שהיא מוגדרת על מעבד בסיסי בלבד. המפתחים עצמם מציינים שכדי לקבל שליטה טובה ואיכותית עדיף לשכפל את הקוד ולהריץ אותו מקומית במחשב.

הרישיון

הקוד מופץ תחת רישיון mit, שמאפשר שימוש חופשי, העתקה ושינויים בקוד. אין מידע ספציפי לגבי זכויות או שמירה של התמונות שאתם מעלים ומייצרים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗