SofGAN

הסקירה

אתם מציירים קווים גסים של שיער, משקפיים או מבנה פנים בממשק דמוי Photoshop, ומהצד השני יוצא דיוקן פוטוריאליסטי של אדם שלא קיים במציאות. הכלי מחלק את הפנים למאפיינים נפרדים לחלוטין, מה שמונע תופעות לוואי מוכרות שבהן שינוי של צורת אוזן מדביק לה פתאום עגיל שלא ביקשתם. חוקרים מיוניברסיטי אוף קליפורניה בסן דייגו ומשנגהאי טק פיתחו את השיטה הזו, והיא פותרת בעיה הנדסית עמוקה של צימוד תכונות במודלים ישנים. במקום להיאבק בפרומפטים מילוליים, אתם עובדים עם מפות חלוקה סמנטיות ומקבלים שליטה על צבע, מרקם וזוויות צילום.

הוא יודע לסובב את הראש. בניגוד למודלים מקבילים שנתקעים במבט קדמי, כאן זווית המצלמה זזה בחופשיות בתוך גבולות המידע שעליו המערכת אומנה.

איך עובדת הפרדת המאפיינים

החידוש המרכזי מבוסס על מבנה בשם Semantic Occupancy Field שסורק ומפרק את הפנים לשכבות תלת ממדיות עצמאיות עוד לפני שנוצר הפיקסל הראשון. המערכת מפרידה את הגאומטריה מהמרקם, ולכן אפשר לשנות תכונות ספציפיות בלי לפגוע במבנה הכללי. המפתחים הדגימו את זה על תמונה של השחקן Daniel Radcliffe כבסיס לציור קווי מתאר, לצד יכולות של הזדקנות מלאכותית ושינוי גוון עור של מקור כדי ליצור מאגרי מידע מאוזנים למחקר. השליטה המבודדת הזו בכל רכיב בפנים הופכת את התוצאה למשהו שמעצבים יכולים לכוון בידיים במקום להמר עליו.

לא הייתי משתמש בזה לפרויקטים שדורשים פתרון מדף מהיר. מדובר במחקר אקדמי ולא במוצר SaaS עם שירות לקוחות.

המחקר מציג מדדי FID נמוכים וציוני LPIPS גבוהים בהשוואה לחלופות כמו GauGAN של NVIDIA או Pix2PixHD, מה שמעיד על תמונה חדה ועקבית יותר ברמת המיקרו. האימון הראשוני דרש ארבעה כרטיסי מסך מסוג RTX 2080 Ti שרצו במשך 22 ימים וצרכו בין 44Gb ל־88Gb זיכרון גרפי עבור 800,000 איטרציות. המערכת אומנה על מאגרי תמונות ענקיים כמו FFHQ שמכיל 70,000 צילומים ו־CelebAMask-HQ עם 30,000 דיוקנאות, לצד סריקות ידניות מפורטות. תוצאות כלליות סבירות הופיעו כבר אחרי שלושה ימים ו־1,500 איטרציות, אבל השגת הפרטים הקטנים של שיער ואישונים דרשה את רוב זמן החישוב.

זמינות ומצב תמחור

אם חיפשתם מחירון, מסלולי מנוי חודשיים בדולרים או כפתור הרשמה לחברות, לא תמצאו אותם כאן כי שום מידע כזה לא מופיע באתר. זה קוד מחקרי שפורסם לצד מאמר אקדמי, ולכן אין עלויות שימוש מוגדרות מראש, אין תקופת ניסיון, ואין חשבונית מס שתוכלו להזדכות עליה בעסק בישראל. ההוצאה האמיתית היחידה שתפגשו היא כוח המחשוב שתצטרכו להעמיד בעצמכם כדי להריץ את המודל, מחירי שרתים בענן או חומרה מקומית חזקה שיכולה להתמודד עם דרישות הזיכרון של ארכיטקטורה כזו.

האתר כולו באנגלית בלבד. עברית אינה רלוונטית כלל לעבודה פנימית שמבוססת על מפות סמנטיות ומודלים גאומטריים.

מה שבאמת מפריע כאן הוא הפער בין סרטוני הדגמה מרשימים ביוטיוב לבין היכולת של מעצב גרפי רגיל להטמיע את הטכנולוגיה ביום עבודה עמוס. זה שווה את זה רק אם אתם חוקרי למידת מכונה או צוותי פיתוח שרוצים לבנות כלי פנימי ומסוגלים לתחזק קוד לבד. אם אתם מחפשים תוכנה שתייצר תמונות לעמודי נחיתה בחמש דקות, תבזבזו כאן שעות על הגדרות סביבה בלי להגיע לתוצאה מסחרית.

• מחירלא צוין באתר
• סוג כלימודל מחקרי בלבד
• שפת ממשקאנגלית בלבד