UserControllableLT-Latent-Transformer
רץ בדפדפןradamesרישיון לא דווח2023-05-23
הדגמה אינטראקטיבית שנועדה לערוך פריסה וקומפוזיציה של תמונות StyleGAN בעזרת הזזת נקודות במרחב הלטנטי. היא מכוונת לחוקרים ולמפתחים שרוצים לבחון שליטה במבנה התמונה בלי לאבד את הסגנון שלה.
- —הורדות בחודש
- 45לייקים
מה זה
הבסיס כאן הוא מאמר מחקרי מ־2022 שמציע שנאי לטנטי לשליטה ישירה בפריסת אלמנטים בתמונות שנוצרו במודלי StyleGAN2. המטרה היא לאפשר לכם להזיז או לשנות צורה של אובייקטים בתמונה שנוצרה, במקום להסתפק בהגרלה עיוורת או בחיפוש וקטורים כלליים.
לפי התיעוד של הפרויקט המקורי, העבודה נשענת על מודלים מאומנים מראש בקטגוריות כמו חתולים, מכוניות, כנסיות, אנימה ופרצופים ממאגר FFHQ. הרעיון בממשק הוא לספק אינטראקציה חזותית שבה מזיזים נקודות שליטה ומקבלים תמונה מעודכנת ששומרת על המאפיינים המקוריים של האובייקט.
מתאים ל
- מחקר על מרחב לטנטי
בדיקת אלגוריתמים לשליטה גיאומטרית ומבנית בתוך רשתות ג'נרטיביות מסוג StyleGAN2.
- עריכת אובייקטים מאומנים
שינוי זווית ופריסה של אובייקטים מוגדרים כמו פרצופים, רכבים וחתולים בקוד מקומי.
- הרצה מקומית לפיתוח
הורדת המשקלים והרצת ממשק ה־Flask במחשב פרטי לצורך שילוב במערכות יצירת תמונה.
איפה זה נופל
החיסרון המרכזי והמיידי הוא שהעמוד הנוכחי פשוט לא עובד ומחזיר שגיאת מערכת. מעבר לזה, לפי מבנה הקוד, המודל לא עורך תמונות אישיות רגילות שאתם מעלים מהטלפון, אלא עובד רק בתוך מרחב הלטנטי של רשתות StyleGAN2 ספציפיות שאומנו מראש על קטגוריות סגורות כמו מכוניות או חתולים. אם תרצו להחיל את זה על נתונים משלכם, תצטרכו לאמן תחילה מודל StyleGAN2 מלא.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה הזאת כרגע באתר?
לא. האפליקציה נמצאת במצב של שגיאת ריצה, ולכן הממשק אינו פעיל ברשת ולא מייצר תוצאות.
איך אפשר בכל זאת לגרום לזה לעבוד?
אפשר להוריד את הקבצים ולהריץ אותם על המחשב שלכם. תצטרכו פייתון 3.8, חומרת GPU מתאימה, הורדה של המשקלים מקישור הדרייב שבתיעוד, והפעלת קובץ השרת המקומי.
האם אפשר להעלות תמונה שלי ולערוך אותה?
לא באופן ישיר. המערכת בנויה לעבוד על ייצוגים לטנטיים של StyleGAN2 ולא כעורך תמונות כללי לכל קובץ מהמחשב.
האם השימוש בקוד כרוך בתשלום?
הגישה לעמוד ולמאגר חופשית לחלוטין. אם תבחרו להריץ את הקוד עצמאית, העלות תהיה רק על משאבי המחשוב והכרטיס הגרפי שלכם.
איך משתמשים
נכון לעכשיו אי אפשר להריץ את ההדגמה הזאת ישירות בדפדפן. העמוד מוגדר על חומרת T4-small עם ממשק Gradio בגרסה 3.32.0, אבל הסטטוס שלו מדווח שגיאת ריצה (RUNTIME_ERROR), כך ששום פעולה לא תתבצע בלחיצה באתר.
מי שרוצה להשתמש בקוד צריך להוריד את המאגר ולהריץ אותו בסביבה מקומית. הפרויקט דורש פייתון 3.8, ספריית PyTorch 1.9.0, והורדה ידנית של משקלי המודל מקובץ חיצוני כדי להרים ממשק מקומי מבוסס Flask.
הרישיון
הרישיון של המרחב עצמו לא דווח בעמוד. ברידמי של הפרויקט המקורי מוצג תג של רישיון MIT, אך בפועל אין פירוט משפטי ברור לגבי תנאי השימוש בתוכן ובמשקלים הספציפיים שמופצים דרך הקישורים החיצוניים.