edit_friendly_ddpm_inversion
רץ בדפדפןlinoytsרישיון לא דווח2023-05-31
הכלי מאפשר לערוך תמונות קיימות באמצעות הנחיות טקסט, בלי לאבד את המבנה המקורי שלהן. הוא מתאים למי שרוצה לבצע שינויים ממוקדים בתמונה בעזרת מודל דיפוזיה פתוח.
- —הורדות בחודש
- 126לייקים
מה זה
אתם מעלים תמונה, מקלידים תיאור טקסטואלי של התוצאה הרצויה, ומקבלים גרסה ערוכה של אותה תמונה. הממשק כולל גם אפשרות לתאר את התמונה המקורית כדי לדייק את התהליך, לצד דוגמאות מוכנות שנטענות ישירות לתוך השדות ומאפשרות לראות איך עריכות שונות משפיעות על הקלט.
מאחורי הקלעים רץ המודל CompVis/stable-diffusion-v1-4 בשילוב מתזמן מסוג DDIMScheduler. המערכת מיישמת שיטת אינוורסיה למרחב הרעש של DDPM, המבוססת על מאמר אקדמי של ענבר הוברמן-שפיגלגלס, ולדימיר קוליקוב ותומר מיכאלי מהטכניון. הרעיון הוא להפוך את התמונה חזרה לרעש מובנה, ואז ליצור אותה מחדש לפי הטקסט החדש עם שמירה על קווי המתאר.
בהגדרות המתקדמות אפשר לשלוט במספר צעדי הדיפוזיה שמוגדר כברירת מחדל על 100, לקבוע כמה צעדים לדלג עליהם בעזרת סליידר ייעודי, ולכוונן את ערכי ה־CFG של תמונת המקור והיעד. הפרמטרים האלה קובעים עד כמה התוצאה הסופית תישאר נאמנה למקור מול כמות השינוי שהטקסט יכניס.
מתאים ל
- עריכת פרטים בתמונה
שינוי ממוקד של אלמנטים או סגנון בתמונה קיימת בעזרת טקסט, תוך שמירה על הקומפוזיציה המקורית.
- בדיקת אינוורסיה מתקדמת
התנסות מעשית בשיטת DDPM Noise Space של חוקרי הטכניון עם שליטה במספר צעדי הדיפוזיה והדילוג.
- החלפת רקע או אווירה
הזנת תיאור מקור מול תיאור יעד כדי לשנות תאורה, צבעים או סביבה סביב האובייקט המרכזי.
איפה זה נופל
הכלי נשען על מודל וותיק יחסית, Stable Diffusion 1.4, שמתקשה לייצר פרטים זעירים מדויקים או טקסט קריא בתוך התמונה. ברירת המחדל עומדת על 100 צעדים, כך שכל ניסיון לוקח זמן מורגש על גבי החומרה הנתונה. אם תמונת המקור מורכבת מדי או שהטקסט דורש שינוי קיצוני מדי במבנה, התוצאה עלולה להתעוות או להתעלם לחלוטין מחלק מההוראות.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
הגישה לממשק פתוחה בחינם בדפדפן דרך Gradio ואינה דורשת תשלום. אין צורך להזין פרטי אשראי או לרכוש מנוי כדי לנסות את היכולות.
כמה זמן לוקח לכל עריכה להסתיים?
ההרצה לוקחת בדרך כלל כמה עשרות שניות. ברירת המחדל דורשת 100 צעדי דיפוזיה, והחומרה שמריצה את הדף היא כרטיס a10g-small יחיד.
מה קורה עם התמונות שאני מעלה?
הקבצים מעובדים ישירות על השרת שעליו רץ הדף לצורך פעולת הדיפוזיה בלבד. מאחר שלא צוין רישיון או מדיניות שמירה מפורשת, עדיף לא להעלות חומרים רגישים או פרטיים.
האם אפשר להריץ את זה על המחשב שלי?
כן, הקוד כתוב בפייתון עם ספריות נפוצות כמו Diffusers ו־PyTorch ומסתמך על SD 1.4 הציבורי. כדי לעשות את זה מקומית תצטרכו כרטיס מסך תואם ואת קובצי הסקריפט הנלווים.
איך משתמשים
טוענים תמונה לחלון הקלט, כותבים בתיבת הטקסט מה רוצים לקבל, ולוחצים על Run. מי שרוצה שליטה עמוקה יותר יכול לפתוח את תפריט האפשרויות המתקדמות, להוסיף תיאור של תמונת המקור, ולשנות את כמות הצעדים או ערכי ההנחיה. האפליקציה רצה על מעבד גרפי a10g-small בתוך סביבת Gradio, מה שאומר שהעיבוד לוקח מעט זמן בהתחשב במאה צעדי הדיפוזיה שמוגדרים כברירת מחדל. אין כאן צורך בהתחברות מוקדמת או בחשבון כדי להריץ את העריכה.
הרישיון
הרישיון של היישום לא דווח במאגר. במצב כזה אין הרשאה מפורשת לשימוש מסחרי בקוד או בתוצרים, ואי אפשר לדעת בוודאות אילו זכויות שמורות למפתחים על התמונות שנוצרות.