DragGan-Inversion
רץ בדפדפןDragGanרישיון לא דווח2023-07-05
האפליקציה מאפשרת מניפולציה אינטראקטיבית על תמונות באמצעות גרירת נקודות על גבי מרחב הייצוג של מודלים מחוללים. היא מיועדת לחוקרים ומפתחים שרוצים לבחון עריכת תמונות מבוססת GAN בדפדפן.
- —הורדות בחודש
- 55לייקים
מה זה
הכלי מציג יישום של מחקר DragGAN שפורסם ב־SIGGRAPH 2023. ברמת הרעיון, אתם אמורים להעלות קוד לטנטי ומשקולות מותאמות או לבחור תוכן קיים, לסמן נקודות על התמונה, ולגרור אותן למיקומים חדשים כדי לשנות תנוחה, הבעה או צורה של האובייקט.
מאחורי הקלעים רץ הקוד שמבוסס על StyleGAN3 של Nvidia יחד עם המשקולות ממאגר DragGan-Models, שכוללות תמיכה במודלים כמו StyleGAN2, StyleGAN-Human ונופים ממאגר LHQ. לעריכת תמונה אמיתית נדרש תהליך GAN inversion מקדים בכלים חיצוניים כמו PTI, ורק לאחר מכן טוענים את התוצאות לתוך הממשק.
בפועל, כרגע הדף מדווח על שגיאת ריצה כללית בסביבת הענן, כך שאי אפשר להזין קבצים או לראות פלט חי ישירות בממשק בלי לתקן את ההרצה.
מתאים ל
- עריכת תנוחה והבעות פנים
גרירת נקודות מפתח על תמונות שנוצרו במודל כדי לסובב פנים או לשנות הבעה.
- עריכת דמויות וגוף אנושי
מניפולציה גאומטרית של תנוחות גוף באמצעות שילוב משקולות של StyleGAN-Human.
- שינוי תוואי שטח ונופים
הזזת אלמנטים בתמונות נוף שנוצרו על בסיס משקולות ממאגר LHQ.
איפה זה נופל
הבעיה המיידית היא שהאפליקציה בענן לא עובדת ומוחזרת בה שגיאת מערכת. מעבר לכך, אי אפשר פשוט לזרוק אליה תמונת JPEG מהטלפון ולצפות לעריכה. עריכת תמונות אמיתיות מחייבת שלב מוקדם של היפוך GAN בכלים נפרדים והזנת הקודים המתאימים.
בנוסף, ההדגמה מוגבלת למשפחות המודלים הנתמכות ולא מתאימה לכל סוגי התמונות הכלליים.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה כרגע בדפדפן?
לא. האפליקציה מדווחת על שגיאת ריצה בענן של Hugging Face, ולכן הממשק אינו פעיל. כדי להשתמש בה יש להוריד את המאגר ולהריץ אותו במחשב מקומי עם כרטיס מסך מתאים.
האם מותר להשתמש בתוצאות לצרכים מסחריים?
לא לפי תנאי המחקר. אלגוריתם DragGAN מוגדר תחת רישיון CC-BY-NC לשימוש לא מסחרי בלבד. בנוסף, חלקי הקוד של StyleGAN3 כפופים לרישיון של Nvidia שמגביל שימושים מסחריים מסוימים.
האם אפשר להעלות סתם תמונה מהמחשב ולערוך אותה מיד?
לא באופן ישיר. הממשק עובד על מרחב לטנטי של StyleGAN, ולכן לתמונות אמיתיות צריך קודם לבצע תהליך היפוך בכלים כמו PTI. רק לאחר קבלת המשקולות והווקטור הלטנטי אפשר לטעון אותם לעריכה.
איך מריצים את הכלי מקומית?
מורידים את הקוד, מתקינים את התלויות לפי ההנחיות של StyleGAN3, ומורידים את המשקולות באמצעות הסקריפט הייעודי. לאחר מכן מפעילים את הממשק עם הסקריפט scripts/gui.sh או שמריצים את קובץ הגרדיו.
איך משתמשים
השימוש אמור להתבצע דרך ממשק גרדיו ישירות מהדפדפן, בלי חובת התחברות לחשבון כדי לצפות בעמוד. בעבודה תקינה טוענים את קובצי המשקולות, מסמנים נקודות אחיזה ונקודות יעד על התמונה, ונותנים לאלגוריתם לבצע את המניפולציה בלולאת אופטימיזציה.
ההדגמה מוגדרת לרוץ על גבי מעבד גרפי t4-small. בפועל לא ניתן לבצע שום פעולה כרגע מפני שהאפליקציה נמצאת במצב של שגיאת ריצה מלאה. אם רוצים להריץ אותה בלי תקלות, צריך להוריד את הקוד לקונכייה מקומית עם הסקריפט scripts/gui.sh או להרים את סקריפט הגרדיו עצמאית.
הרישיון
בעמוד האפליקציה הרישיון מוגדר כלא דווח, אך התיעוד מציין שאלגוריתם DragGAN כפוף לרישיון CC-BY-NC שאינו מסחרי. חלקי הקוד שנשענים על StyleGAN3 כפופים לרישיון המקור של Nvidia, וחובה לשמר בהם את מנגנון סימון המים.