Photo-Realistic-Image-Stylization
רץ בדפדפןkingardormit2022-10-20
מעבירים סגנון ותאורה מתמונה אחת לאחרת בלי לפגוע במבנה הריאליסטי שלה. מתאים למי שרוצה לצבוע תצלום מחדש על בסיס צבעים של תמונה אחרת.
- —הורדות בחודש
- 59לייקים
מה זה
היישום מתבסס על מחקר של אנבידיה ו־UC Merced ועל הקוד של FastPhotoStyle. מעלים שתי תמונות, אחת משמשת כתוכן והשנייה כסגנון. האלגוריתם, שמשתמש בטרנספורמציית PhotoWCT, מחלץ את הצבעים והתאורה מתמונת הסגנון ומלביש אותם על תמונת המקור תוך שמירה על קווים חדים ועצמים ישרים, כדי שהתוצאה לא תיראה כמו ציור מרוח.
בממשק יש אפשרות להפעיל עיבוד מקדים ב־CUDA, לבחור האם לבצע עיבוד משלים של החלקה, ולבחור את שיטת הסינון. האפשרויות כוללות סינון מודרך מהיר או החלקה פוטו-ריאליסטית איטית, אם כי בקוד האפשרות הזו מוגדרת כלא אינטראקטיבית ונעולה על האפשרות המהירה.
מתאים ל
- החלפת תאורת יום ללילה
צביעת תצלום נוף באור יום לפי צבעים וגוונים של תמונת לילה.
- התאמת פלטת צבעים בצילום
שינוי גווני תמונה קיימת כך שיתאימו לפלטה של צילום אמנותי אחר.
- ניסוי מקומי באלגוריתם
הורדת הקוד והרצתו על מחשב אישי לצורך בחינת ביצועי PhotoWCT.
איפה זה נופל
הבעיה המיידית היא שההדגמה שבורה ברשת ולא נטענת. מעבר לזה, בממשק עצמו בחירת אלגוריתם ההחלקה נעולה, כך שאי אפשר לבחור בשיטה האיטית והמדויקת יותר ישירות מהדפדפן. בנוסף, מודלים מסוג זה נוטים לייצר עיוותי צבע מקומיים כשמנסים לשלב שתי תמונות עם תנאי תאורה שונים לחלוטין.
שאלות
נפוצות
למה האפליקציה לא עובדת בדפדפן?
הדף מדווח על שגיאת בנייה (BUILD_ERROR). סביבת ההרצה של Gradio נכשלה בעלייה, ולכן אי אפשר לשלוח תמונות דרך הדפדפן עד שהמפתח יתקן אותה.
האם אפשר להשתמש בכלי בחינם לפרויקטים מסחריים?
לא. למרות שרישיון המאגר מוגדר כ־MIT, האלגוריתם המקורי של אנבידיה יושב תחת רישיון CC BY-NC-SA 4.0, שאוסר על שימוש מסחרי מכל סוג.
איך אפשר להריץ את הכלי במחשב שלי?
מתקינים את התלויות באמצעות pip מתוך קובץ requirements.txt, ומריצים את app.py בפייתון. לאחר מכן ניגשים לכתובת המקומית 127.0.0.1:7860 בדפדפן.
האם התמונות שלי נשמרות איפשהו?
בקוד הממשק אין מנגנון שמירת קבצים חיצוני או תיעוד על מאגר ענן. עם זאת, מכיוון שהדף ברשת תקול, המידע כלל לא נשלח כרגע לשום שרת.
איך משתמשים
טוענים תמונת תוכן ותמונת סגנון בפורמט תמונה רגיל, ולוחצים על שליחה כדי להתחיל בעיבוד. החומרה שמוקצית היא כרטיס T4 קטן, אך כרגע אין אפשרות להריץ אותה בדפדפן בכלל. היישום נמצא במצב שגיאת בנייה (BUILD_ERROR) ולא עולה לרשת, כך שכדי להשתמש בו צריך להוריד את הקבצים ולהריץ אותם מקומית דרך פייתון.
הרישיון
המאגר מסומן ברישיון MIT, אך קוד המקור והמחקר המקורי של אנבידיה כפופים לרישיון CC BY-NC-SA 4.0. המשמעות היא שהשימוש מוגבל למטרות לא מסחריות בלבד, וכל יצירה נגזרת חייבת להישאר תחת אותו הרישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש