Drag Your GAN

הסקירה

אתם מניחים נקודה על התמונה, בוחרים לאן לגרור אותה, והפיקסלים זזים בהתאם למבנה של האובייקט. Drag Your GAN, או בקיצור DragGAN, פותח במכון Max Planck יחד עם שותפים ממוסדות כמו MIT וגוגל, והוצג בכנס SIGGRAPH בשנת 2023. הוא מבוסס על רשתות GAN ולא על מחוללי דיפוזיה רגילים, מה שמאפשר שליטה מדויקת בצורה, בתנוחה ובהבעות. במקום לכתוב הנחיה טקסטואלית ולחכות לתוצאה אקראית, אתם מקבלים כלי מניפולציה אינטראקטיבי לחלוטין. הוא פועל ישירות על המרחב של התמונה ומזיז איברים או חפצים בלי לפרק את המבנה ההגיוני שלהם.

זה פועל בצורה שונה מעריכה גרפית רגילה.

איך המנגנון עובד

המנגנון בנוי משני רכיבים עיקריים שפועלים יחד בזמן אמת. הרכיב הראשון מפקח על התנועה של הנקודות שבחרתם לכיוון נקודות היעד. הרכיב השני עוקב אחרי הנקודות הללו בעזרת המאפיינים הפנימיים של הרשת, וכך שומר על המיקום שלהן לאורך כל תהליך השינוי. השליטה מתבצעת על ידי גרירת נקודות ולא על ידי ניחוש של מילים. זה מאפשר למשל לפתוח פה של אריה, לסובב ראש של אדם או לשנות זווית של מכונית, כשהאלגוריתם משלים לבד אזורים שהיו מוסתרים קודם לכן. הוא שומר על קשיחות החפץ כדי שהתוצאה תיראה סבירה.

לא הכל עובד חלק.

באתר של הפרויקט מופיעות דוגמאות על מגוון קטגוריות, בהן חתולים, כלבים, סוסים, פילים, בני אדם, נופים ואפילו מיקרוסקופ. בנוסף ליצירת תוכן מאפס, החוקרים מציגים גם יכולת לערוך תמונות אמיתיות דרך תהליך שנקרא היפוך GAN. זה נשמע מבטיח, אבל חשוב להבין את המגבלה המשמעותית כאן. אם האובייקט שלכם לא שייך לקטגוריה שעליה הרשת אומנה היטב מראש, התוצאה תתעוות מהר מאוד. מה שבאמת מפריע כאן הוא שאין פה מוצר מוגמר שמתאים לעבודה שוטפת במשרד, אלא קוד פתוח ומאמר מחקרי שמיועדים להרצה עצמית.

הקוד זמין להורדה בחינם.

תנאי שימוש ועלויות

מבחינת כסף, השימוש בקוד ובחומרים מהאתר זמין בחינם במסגרת רישיון Creative Commons CC BY-NC 4.0, כלומר לשימוש לא מסחרי בלבד. זה אומר שאם אתם מתכננים לשלב את הכלי בעסק שלכם או להפיק ממנו רווח ישיר, הרישיון הנוכחי לא מתאים לכם. תצטרכו גם משאבי מחשוב חזקים כדי להריץ את המודלים האלה אצלכם, מה שעלול לייצר עלויות חומרה או שרתים משלכם. הקוד עצמו יושב ב־GitHub ללא תשלום, כך שאין כאן מנוי חודשי, אין כרטיסי אשראי ואין מדרגות תשלום נסתרות. הכל מונח על השולחן כפרויקט מחקרי טהור.

עברית לא רלוונטית כאן. הממשק המקורי באנגלית בלבד, וכל העבודה מתבססת על עכבר, קוד ונקודות ציון ויזואליות.

לא הייתי משתמש בזה למשימות יומיומיות של עיצוב גרפי או למוצרים מסחריים שדורשים יציבות מוחלטת. הכלי הזה מתאים בעיקר לחוקרים, למפתחים ולמי שרוצה להתנסות בקצה גבול היכולת של עריכת תמונות אינטראקטיבית. מי שמחפש פתרון מהיר של לחיצת כפתור אחת יתאכזב מהצורך לקרוא את המאמר, להתקין את הסביבה ב־GitHub ולהתמודד עם מגבלות של חומרה מקומית. לפני שאתם רצים להתקין אותו, שווה לבדוק את סרטוני ההדגמה בעמוד הפרויקט ולהבין אם מטרות העריכה שלכם נופלות בקטגוריות שהרשת מכירה.

• מחיר רשמיחינם לשימוש לא מסחרי
• רישיון מסחרילא קיים באתר
• זמינות קודפתוח ב GitHub