multidiffusion-region-based

מה זה

מציירים סקיצה עם כתמי צבע על גבי קנבס ומגדירים יחס תצוגה מרובע, אופקי או אנכי. אחרי הציור הממשק מפרק את הכתמים למסכות בינאריות לפי הצבעים שבחרתם, ומציג שדה טקסט נפרד לכל אזור צבע יחד עם שדה לפרומפט כללי לכל התמונה.

מאחורי הקלעים רצה שיטת MultiDiffusion שמחברת בין האזורים השונים בזמן תהליך הדיפיוזיה. המערכת תומכת במודלים בפורמט diffusers, ובראשם גרסאות שונות כמו stabilityai/stable-diffusion-2-1-base, גרסת 2-base, או runwayml/stable-diffusion-v1-5. התוצאה הסופית שיוצאת היא תמונה אחת בגודל 512 על 512 שמנסה לשלב את כל ההנחיות למקשה אחת חלקה.

מתאים ל

• בניית קומפוזיציה מדויקת

  שליטה במיקום המדויק של אובייקטים בתמונה לפי שרבוט צבעוני, במקום להסתמך על מזל בטקסט חופשי בלבד.

• שילוב סגנונות באזורים שונים

  הגדרת הנחיית טקסט שונה לכל מסכת צבע בסצנה כדי ליצור שילובים מורכבים בתמונה סופית אחת.

• בדיקת מחקר ל־MultiDiffusion

  בחינת יכולות המאמר המדעי של מכון ויצמן על מודלי דיפיוזיה שונים מקוד המקור.

איפה זה נופל

הבעיה המיידית היא שהחלל פשוט קורס ולא פעיל, כך שאי אפשר להוציא ממנו תוצאות בלי שהמפתחים יתקנו את שגיאת הריצה או שתשכפלו ותריצו אותו בעצמכם. מעבר לזה, המודל דורש פירוק של סקיצה לאזורי צבע נפרדים, מה שאומר שהדיוק של התוצאה תלוי מאוד באיכות המסכות שהממשק מייצר מהקנבס ובמיזוג הנכון בין האזורים השונים כדי שלא ייראו טלאים.

איך משתמשים

כרגע אי אפשר להריץ את ההדגמה ישירות בדפדפן מפני שהיא נמצאת במצב של שגיאת ריצה (RUNTIME_ERROR). באופן תיאורטי מציירים, לוחצים על הכפתור שמסמן שסיימתם את הסקיצה, ממלאים את הפרומפטים לכל צבע, ולוחצים על Generate. ההדגמה מוגדרת על חומרת a10g-small, והיא מאפשרת לשלוט במספר הצעדים שברירת המחדל שלו היא 50 צעדים, ערך סיד, ופרמטר bootstrapping שמוגדר כברירת מחדל על 10.

הרישיון

הקוד פתוח תחת רישיון MIT, שמאפשר שימוש חופשי כולל שימוש מסחרי ושינוי הקוד. לגבי המידע והתמונות, הממשק רץ על תשתית פומבית של Hugging Face, ולכן לא מומלץ להעלות או להזין בו נתונים רגישים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗