NovelAI Improvements on Stable Diffusion | by NovelAI | Oct, 2022 | Medium

הסקירה

צוות הפיתוח של NovelAI שינה מן היסוד את האופן שבו מודל Stable Diffusion מעבד תמונות וטקסט בזמן האימון. במקום לחתוך כל תמונה לריבוע מושלם של 512 על 512 פיקסלים, המפתחים יצרו שיטה שממיינת תמונות לפי יחסי גובה ורוחב שונים. המטרה המרכזית הייתה לפתור את בעיית הדמויות החתוכות, שבהן אנשים מופיעים בלי ראש או בלי רגליים וחרבות נקטעות באמצע הלהב.

השינוי הזה נולד מתוך צורך מעשי מאוד של החברה. הם רצו לייצר תמונות שילוו סיפורים כתובים, ושם אי אפשר להסתפק בקומפוזיציות קטועות.

הבעיה הבסיסית במודלים של יצירת תמונות היא הצורך לאמן כרטיסי מסך על קבוצות של תמונות בגודל זהה. כשמאמנים מודל רגיל, פשוט חותכים את מרכז התמונה. הפעולה הזו יצרה מצב אבסורדי שבו תגיות טקסט לא תאמו את מה שנשאר בתמונה. אם בתגית המקורית הופיעה המילה כתר, אבל החיתוך השאיר רק את הגוף וערף את ראש המלך, המודל למד לקשר בין המילה כתר לבין גוף חסר ראש. ב־NovelAI הבינו שגם חיתוך אקראי לא פותר את הבעיה, ולכן בנו תהליך של חלוקה לדליים שמקבץ תמונות דומות ביחס הממדים שלהן עד גודל מירבי של 512 על 768 פיקסלים.

שליפה מהשכבה הלפני אחרונה

החלק השני בשינוי נוגע למנוע הטקסט CLIP שאחראי על הבנת ההנחיות שלכם. בדרך כלל, Stable Diffusion לוקח את המידע מהשכבה האחרונה של המקודד כדי להנחות את היצירה. החוקרים של NovelAI בחרו להשתמש דווקא בשכבה הלפני אחרונה, תוך הפעלת נרמול השכבה הסופי של הטרנספורמר. השכבה האחרונה מרכזת את המידע בצורה חדה מדי עבור חיפוש דמיון וקטורי, ולכן היא מאבדת פרטים קטנים. השימוש בשכבה הלפני אחרונה מאפשר למודל להפריד בצורה נקייה בין תכונות שונות באותו הפרומפט, כך שצבע אחד לא ידלוף לחלקים אחרים של הדמות.

השימוש בשכבה הלפני אחרונה מאפשר למודל להפריד מושגים מורכבים ולמנוע זליגת צבעים בין פריטי לבוש שונים.

באימונים המוקדמים עם השכבה הרגילה, פרומפטים פשוטים יחסית גרמו לבעיות קשות. למשל, בבקשה לדמות Hatsune Miku עם שמלה אדומה, הצבע האדום של השמלה נטה לזלוג ישירות לתוך העיניים והשיער שלה. רק לאחר המעבר לשכבה הלפני אחרונה המודל הצליח להפריד בין הדברים. הוא התמודד בהצלחה עם הנחיות ארוכות ומפורטות שהכילו עשר תגיות שונות במקביל, כולל צבעי עיניים סגולים, חולצה אדומה, חצאית קפלים וצעיף ירוק, בלי שאף צבע יכתים את הפריט הלא נכון.

המערכת הזו דורשת המון כוח חישוב. מעבר לגודל 512 על 768 מחייב צריכת זיכרון גבוהה בהרבה בכרטיסי המסך, ולכן הצוות נאלץ להקטין את גודל הקבוצות המעובדות בכל מעבד גרפי ולפצות על כך בעזרת צבירת גרדיאנטים. הם פיצלו את הנתונים בין מעבדים שונים, ערבבו את מזהי התמונות בכל סבב אימון, והעבירו שאריות שלא התחלקו בדיוק לתוך דלי איסוף מיוחד כדי ששום מעבד לא ייתקע בחוסר עבודה.

למי השיטה הזו מתאימה

זה שווה את זה רק אם אתם מאמנים מודלים משלכם או מחפשים יצירת תמונות אנימה ואיורים שבהם כל פרט בבגדים חייב לשבת בדיוק במקום. מי שרוצה לייצר תמונות כלליות של נופים או חפצים לא ירגיש כאן שום הבדל דרמטי. אם אתם מצפים לתמיכה מובנית בעברית, תשכחו מזה כרגע. המודל מתבסס כולו על תיוג באנגלית ובנוי סביב מילות מפתח מופרדות בפסיקים. הוא אינו מיועד לפרומפטים שכתובים בשפה טבעית ובוודאי שלא בעברית, כך שתצטרכו לתרגם כל מושג לאנגלית כדי להפיק ממנו משהו הגיוני.

• מחיר שירותלא צוין בפוסט
• שפת ממשקאנגלית בלבד
• שיפור דיוקהפרדת צבעים מלאה

מה שבאמת מפריע כאן הוא שאין בטקסט שום נתון על המחיר שמשתמש הקצה ישלם. מדובר בפוסט הנדסי נקי, כזה שמציג פתרונות תשתית בלי שום התייחסות למנויים או עלויות שרתים. לא הייתי משתמש בזה לפרויקטים שדורשים שליטה מלאה בתקציב חודשי בלי לבדוק קודם את האותיות הקטנות באתר שלהם.