outpainting-with-differential-diffusion-demo
רץ בדפדפןclinteroniרישיון לא דווח2024-04-12
ההרחבה הזו מוסיפה שוליים לתמונות קיימות וממלאת אותם בעזרת בינה מלאכותית לפי תיאור טקסטואלי. היא מיועדת למי שרוצה לשנות יחס תמונה בלי לחתוך את התוכן המקורי.
- —הורדות בחודש
- 73לייקים
מה זה
מעלים תמונה מקובץ, ממצלמת הרשת או מהלוח, ומגדירים בפיקסלים כמה להרחיב מלמעלה, מלמטה, מימין ומשמאל. חובה להזין הנחיית טקסט של עד 77 טוקנים שמתארת את הנושא, הרקע והסגנון של כלל התמונה הרצויה, כשיש אפשרות להגדיר גם הנחיה שלילית לצמצום מסגרות ומריחות.
מאחורי הקלעים רץ צינור עיבוד של Stable Diffusion XL המיועד לציור מחדש, בשילוב רכיב IP Adapter וטכניקת Differential Diffusion שנלקחה מהמדריך של OzzyGT. המערכת מחשבת מסיכה ומייצרת המשך ישיר של התמונה לפי ההגדרות. בממשק יש דוגמה מובנית עם התמונה Coucang.jpg שמציגה איך הקצוות אמורים להשתלב.
מתאים ל
- התאמת תמונות לרוחב
הרחבת צילום ריבועי ליחס רחב שמתאים לבאנר או לרקע, על ידי הוספת פיקסלים מימין ומשמאל.
- השלמת רקע שנחתך
הוספת מרווח עליון או תחתון לתמונת פורטרט צפופה בלי לפגוע באובייקט המקורי שבמרכז.
- בדיקת Differential Diffusion
השוואת התנהגות המודל מול טכניקות מילוי אחרות דרך מצב הדיבאג שמציג את מסיכות הביניים.
איפה זה נופל
הבעיה המיידית היא שההדגמה מדווחת כשבורה עם שגיאת זמן ריצה ולא מגיבה. מעבר לזה, המודל מחייב להרחיב לפחות פאה אחת ולא מקבל ערכים שליליים, כך שאי אפשר להשתמש בו לקרופ. אם לא מכוונים את הגדרות הטשטוש וההנחיה, החיבור בין התמונה המקורית לתוספת עלול להיראות מקוטע.
שאלות
נפוצות
האם השירות עולה כסף?
השימוש בהדגמה באתר Hugging Face פתוח ללא תשלום. עם זאת, נכון לעכשיו היא תקועה על שגיאת ריצה ולא מייצרת פלט.
האם אפשר להריץ את זה על המחשב?
כן, הקוד מבוסס על Diffusers וספריית Gradio סטנדרטית. אפשר להוריד את הקבצים ולהריץ אותם מקומית על כרטיס מסך מתאים עם מודל SDXL.
כמה זמן לוקח לכל תמונה לצאת?
ברירת המחדל היא 50 צעדי עיבוד על חומרת A10G, מה שלרוב אורך בין עשר לעשרים שניות לתמונה. בזמן שיש עומס או שגיאת מערכת, התהליך לא מסתיים.
מה קורה לקבצים שמעלים?
התמונות נשלחות לזיכרון של השרת שמריץ את הממשק כדי לעבד את הפיקסלים. אין כאן התחייבות לשמירה או מחיקה מסודרת מעבר לתנאי השימוש הרגילים של השרת.
איך משתמשים
טוענים תמונה, מקלידים הנחיה ולוחצים על Outpaint. לפי הקוד מוגדר שימוש בחומרת zero-a10g שמריצה 50 צעדי עיבוד כברירת מחדל, אבל כרגע האפליקציה נמצאת במצב שגיאת ריצה. כשהיא לא פעילה בצד השרת, אי אפשר להריץ אותה בדפדפן עד שהמפתח יתקן את התקלה.
הרישיון
הרישיון של המרחב לא דווח. מודל הבסיס הוא Stable Diffusion XL של Stability AI, אבל ללא רישיון מוגדר לקוד עצמו לא ברור אם מותר להשתמש בתוצרים לצרכים מסחריים.