DenseDiffusion
רץ בדפדפןnaver-aimit2023-09-12
הכלי מפיק תמונות באמצעות חלוקה לאזורים ומאפשר להגדיר תיאור טקסטואלי נפרד לכל חלק באיור. הוא מתאים למי שרוצה לשלוט במיקום המדויק של אובייקטים בתוך התמונה ולא רק לסמוך על פרומפט כללי.
- —הורדות בחודש
- 38לייקים
מה זה
אתם מציירים סקיצה על גבי קנבס, מחלקים אותה למקטעים צבעוניים, ומצמידים לכל מקטע תיאור טקסט ייעודי כולל הגדרה לרקע הלבן. בנוסף מגדירים תיאור טקסטואלי מלא לתמונה כולה, שחייב לכלול בתוכו את המילים שהוזנו עבור המקטעים השונים.
מאחורי הקלעים רץ Stable Diffusion בגרסה 1.5, יחד עם מנגנון שמתערב בשכבות ה־cross-attention וה־self-attention כדי לנעול את האובייקטים למסכות שציירתם. אפשר לכוונן סליידרים שקובעים את עוצמת ההשפעה של המודולציה ואת ההתאמה לגודל המקטעים.
הממשק כולל שלוש דוגמאות מובנות עם מסכות מוכנות, תיאורים מוגדרים מראש וערכי סיד קבועים כמו 381940206 או 307504592, שמדגימים איך פריסה צבעונית הופכת לפלט של תמונה מרובת עצמים.
מתאים ל
- הצבת דמויות במיקום מוגדר
ציור אזור מדויק עבור כל דמות ושמירה על בידוד מוחלט בין התיאורים שלהן.
- בניית קומפוזיציה מורכבת
הפרדה בין אובייקטים בחזית לבין הרקע כדי למנוע ערבוב של צבעים ואלמנטים.
- שליטה ביחסי גדלים
קביעת הגודל המדויק של כל מקטע באמצעות סקיצה ידנית וכוונון סליידר הגודל.
איפה זה נופל
הבעיה המיידית היא שהאפליקציה במצב תקול ולא עולה כרגע. מעבר לזה, הקוד כולל בדיקה קשיחה שזורקת שגיאה אם התיאור של אחד המקטעים לא מופיע מילה במילה בתוך הפרומפט המרכזי, מה שמסרבל את העבודה ומגביל שילובים טבעיים.
המודל מבוסס על Stable Diffusion 1.5 הוותיק. המשמעות היא שרמת הפירוט, איכות הרקעים והריאליזם נשארים מוגבלים ליכולות של הבסיס הזה, גם אם השליטה במיקומים מדויקת יותר.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
הגישה לממשק היא ללא תשלום ואינה דורשת הרשמה. עם זאת, כרגע המופע הציבורי מדווח על תקלת ריצה ולא מגיב לפקודות.
במה זה שונה משימוש רגיל ב־Stable Diffusion?
במקום להסתמך רק על טקסט בתקווה שהמודל יבין איפה לשים כל דבר, כאן מציירים מסכה לכל פריט. המודל מתערב ישירות בשכבות הקשב כדי להכריח כל אובייקט להישאר בגבולות שצוירו לו.
האם אפשר להריץ את הכלי במחשב האישי?
כן, הקוד מפורסם ברישיון חופשי ומבוסס על ספריות סטנדרטיות כמו diffusers ו־gradio. כדי להריץ מקומית תצטרכו כרטיס מסך שמסוגל להחזיק מודל כזה ואת הקבצים של הפרויקט.
מה קורה עם התמונות והטקסט שמעלים לממשק?
הנתונים מעובדים ישירות על גבי השרת שמריץ את המרחב כדי לייצר את הפלט. אין מנגנון שמירה ייעודי לחשבון פרטי, אך הקלטים עוברים דרך השרת של הדמו.
איך משתמשים
עבודה מלאה דורשת תהליך של כמה שלבים. קודם מאשרים את הסקיצה, אחר כך מזינים טקסט לכל אזור ומאשרים, ורק אז מקלידים את הפרומפט הכללי ולוחצים על כפתור ההפקה. אפשר לבחור להפיק בין דוגמה אחת לארבע במקביל.
האפליקציה יושבת על חומרת t4-small, כך שהיצירה של תמונות ברזולוציה בסיסית אמורה לקחת שניות בודדות לכל תמונה כשאין עומס. עם זאת, נכון לעכשיו היא נמצאת במצב של שגיאת ריצה, ולכן אי אפשר להריץ אותה ישירות בדפדפן בלי שהיוצרים יתקנו את הסקריפט.
הרישיון
הפרויקט מופץ תחת רישיון MIT, שמאפשר שימוש חופשי בקוד ובמשקלים, כולל שינויים והתאמות. התמונות שנוצרות כפופות גם לתנאי הרישיון המקוריים של runwayml עבור המודל הבסיסי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש