DragGan
רץ בדפדפןDragGanרישיון לא דווח2023-06-25
עריכת תמונות אינטראקטיבית באמצעות גרירת נקודות על גבי תמונות שנוצרו במודל. מתאים למי שרוצה לבדוק מניפולציות של תנוחה והבעה בלי פוטושופ.
- —הורדות בחודש
- 1,025לייקים
מה זה
הכלי מציג ממשק מבוסס גרדיו שבו בוחרים נקודות אחיזה ונקודות יעד על גבי תמונה שיוצרה מראש, והאלגוריתם מזיז את הפיקסלים בהתאם. במקום לשנות רק צבעים, הוא מעוות את הייצוג הפנימי של התמונה כדי לשמור על מבנה הגיוני כמו סיבוב ראש או פתיחת פה.
מאחורי הקלעים רצים מודלים של StyleGAN2, לצד תמיכה בארכיטקטורות כמו StyleGAN3, StyleGAN-Human ודאטהסטים של נופים כמו LHQ. המשקלים מגיעים ישירות ממאגר המודלים DragGan-Models, והעיבוד נשען על חומרה ייעודית.
מתאים ל
- עריכת תנוחות פנים
הזזת נקודות כדי לשנות כיוון מבט, לפתוח חיוך או להטות את הראש בתמונות אדם שנוצרו במודל.
- שינוי מבנה נוף
מתיחה ושינוי גובה של רכסי הרים או עצים על בסיס משקלי מודל הריסוס של נופי LHQ.
- בדיקת גמישות GAN
הדגמת היכולת של רשתות גנרטיביות לשמר עקביות של עצמים בזמן גרירת פיקסלים מנקודה לנקודה.
איפה זה נופל
הבעיה המיידית היא שההדגמה קרסה לחלוטין ולא מגיבה. מעבר לזה, הממשק לא מאפשר עריכה ישירה של תמונות אמיתיות שאתם מעלים מהמחשב. כדי לעבוד על תמונה אישית צריך לבצע קודם תהליך היפוך (GAN inversion) מחוץ לממשק, בעזרת כלים חיצוניים כמו PTI, ורק אז להזין את הקוד והמשקלים.
שאלות
נפוצות
האם האפליקציה זמינה לשימוש כרגע?
לא, כרגע המופע מדווח על שגיאת ריצה ולא נטען בדפדפן. תצטרכו להמתין שהמפתח יאתחל אותו מחדש. בינתיים אפשר רק לצפות בתיעוד ובקוד המקור.
אפשר להעלות תמונה מהטלפון ולערוך אותה?
לא ישירות דרך הממשק הזה. הכלי עובד על תמונות שנוצרו במקור על ידי StyleGAN בלבד. כדי להעלות תמונה רגילה נדרש תהליך חיצוני מקדים של היפוך GAN שלא מובנה כאן.
האם ניתן להריץ את הכלי במחשב הפרטי?
כן, הקוד הציבורי זמין ומאפשר הרצה מקומית באמצעות ממשק גרפי ייעודי או סקריפט גרדיו. עם זאת, תצטרכו להוריד ידנית את קובצי המשקלים של המודלים ולהחזיק חומרה גרפית מתאימה.
האם מותר להשתמש בתוצרים לצרכים מסחריים?
לא, הקוד שייך לאלגוריתם שמופץ תחת רישיון CC-BY-NC שמגביל את השימוש למטרות שאינן מסחריות בלבד. בנוסף, חלקי קוד רבים כפופים להגבלות הרישיון של חברת Nvidia.
איך משתמשים
כרגע אי אפשר להשתמש בהדגמה הזו ישירות בדפדפן, כי המופע נמצא במצב של שגיאת ריצה (RUNTIME ERROR). כשהוא פעיל, העבודה כוללת טעינת משקלים, בחירת נקודות גרירה על התמונה והרצת העיוות. המערכת מוגדרת לרוץ על מאיץ גרפי בודד מסוג L4, שאמור לספק זמני תגובה מהירים לכל מניפולציה.
הרישיון
הרישיון בעמוד לא דווח בצורה רשמית. לפי התיעוד, קוד האלגוריתם שוחרר תחת רישיון CC-BY-NC שמוגבל לשימוש לא מסחרי, בעוד שחלקים המבוססים על StyleGAN3 כפופים לרישיון הקוד של Nvidia ומחייבים שמירה על סימני מים.