ledits
רץ בדפדפןediting-imagesרישיון לא דווח2023-05-24
הכלי מיועד לעריכת תמונות אמיתיות באמצעות טקסט, ומכוון למי שרוצה לשנות פרטים ספציפיים בלי להרוס את שאר התמונה.
- —הורדות בחודש
- 456לייקים
מה זה
אתם מעלים תמונה, והמערכת מייצרת לה תיאור טקסטואלי אוטומטי בעזרת המודל BLIP. לאחר מכן מתבצע היפוך בשיטת DDPM כדי למפות את התמונה למרחב הלטנטי, ואז מוסיפים מושגי עריכה בשיטת SEGA כדי לדחוף את התמונה לכיוון הרצוי. הפלט הוא תמונה חדשה שמשלבת את השינויים שביקשתם מול תמונת המקור.
מתחת למכסה המנוע רצים צינור עריכה סמנטי מותאם אישית של Stable Diffusion 2.1 יחד עם המודל CLIP. בקוד מוגדרות גם דוגמאות מוכנות מראש שכוללות עריכה של לימונים, שדה פרחים, פרפר, חוף סלעי, והציור נערה עם עגיל פנינה.
מתאים ל
- שינוי פרטים בתמונות קיימות
הוספה או הסרה של אובייקטים מתמונה קיימת בעזרת מושגי עריכה טקסטואליים והנחיה סמנטית מדויקת.
- עריכה סגנונית של אמנות
התאמת ציורים ותמונות קיימות למראה שונה תוך שמירה על המבנה המקורי, כפי שמוצג בדוגמת נערה עם עגיל פנינה.
- בדיקת שילוב DDPM ו־SEGA
בחינה מחקרית של שילוב היפוך לטנטי עם הנחיה סמנטית על גבי Stable Diffusion 2.1.
איפה זה נופל
הכלי לא פעיל כרגע בדפדפן כי המופע שלו מושהה, כך שאי אפשר לבדוק אותו בלי שכפול והרצה עצמאית. בנוסף, הוא מתבסס על ניתוח אוטומטי של תמונות, ואם התיאור הראשוני של BLIP מפספס אלמנטים בתמונה, העריכה הסמנטית כולה עלולה להפיק תוצאות מעוותות.
שאלות
נפוצות
האם אפשר להשתמש בכלי הזה עכשיו בחינם?
הדף עצמו פתוח לגישה, אבל המופע שלו מוגדר במצב מושהה. כדי להשתמש בו תצטרכו לשכפל את המאגר ולהריץ אותו על חומרה משלכם, דבר שיכול להיות כרוך בעלויות מחשוב.
כמה זמן לוקח לכל עריכה להתבצע?
התהליך כולל כמה שלבים כבדים, שכוללים יצירת תיאור עם BLIP, היפוך DDPM מלא ודגימה מחדש עם Stable Diffusion 2.1. על מאיץ גרפי מסוג A10G שמוגדר בפרויקט, תהליך כזה לוקח בדרך כלל כמה עשרות שניות לכל תמונה.
האם התמונות שאני מעלה נשמרות בשרת?
הקוד משתמש בזיכרון הריצה הפנימי של Gradio לניהול מצב התמונות וההיפוך, וכולל כפתור שיתוף לקהילה שמופיע בסיום. עם זאת, אין הצהרת פרטיות רשמית בדף, ולכן לא מומלץ להעלות לשם תמונות רגישות או פרטיות.
במה היישום הזה שונה מסתם להריץ Stable Diffusion רגיל?
הוא לא מייצר תמונה חדשה לגמרי מאפס לפי טקסט, אלא לוקח תמונה קיימת וממפה אותה למרחב הלטנטי באמצעות DDPM Inversion. משם הוא מאפשר לכוונן תכונות ספציפיות בעזרת SEGA בלי לאבד את הקומפוזיציה המקורית של התמונה.
איך משתמשים
טוענים תמונה לחלון הקלט, מגדירים מושגי עריכה בתיבות הטקסט, ומכוונים את עוצמת ההשפעה בעזרת הסליידרים של Guidance Scale בין 1 ל־30. השרת מוגדר על חומרת A10G קטנה, אבל כרגע הוא נמצא במצב מושהה ולכן אי אפשר להריץ אותו ישירות בדפדפן בלי להפעיל אותו מחדש.
הרישיון
הרישיון לא דווח במאגר. המשמעות היא שאין הרשאה מפורשת לשימוש מסחרי בקוד או בפלטים, וכל שימוש כזה דורש בדיקה ישירה מול היוצרים.