GPT
P

perturbed-attention-guidance-sdxl

רץ בדפדפן

multimodalartmit2024-04-15

  • gradio

הדגמה שמייצרת תמונות עם מודל SDXL תוך שימוש במנגנון הנחיית קשב מופרע, בלי תלות רק בטקסט. היא מיועדת למי שרוצה לבדוק שיפורי איכות או לייצר תמונות גם ללא פרומפט בכלל.

  • הורדות בחודש
  • 128לייקים

מה זה

אתם מקלידים הנחיית טקסט, או משאירים את התיבה ריקה לחלוטין כדי לבדוק יצירה ללא הנחיה, ולוחצים על כפתור הייצור. המערכת מציגה את התוצאה הסופית באמצעות רכיב סליידר להשוואת תמונות.

מאחורי הקלעים רץ המודל המוכר של Stability AI לגרסת הבסיס, יחד עם צינור ייעודי שמשלב Perturbed Attention Guidance. הטכניקה הזו מאפשרת לשלוט במבנה התמונה דרך שינוי שכבות הקשב ברשת במקום להסתמך רק על שיטת ההנחיה הרגילה.

הממשק כולל דוגמאות מובנות שמציגות רובוט חרק שמכין ארוחה בסגנון אנימה, תצלום של קבוצת חברים בפארק שעשועים, ובדיקה ריקה ללא מילים כדי לראות מה המודל מוציא בעצמו.

מתאים ל

  • יצירה ללא פרומפט

    בדיקת יכולות הציור הבסיסיות של המודל כשמשאירים את שדה הטקסט ריק ומסתמכים רק על PAG.

  • שילוב LoRA אישי

    טעינת התאמות חיצוניות דרך קישור ייעודי ובחינת השפעת מנגנון הקשב על הסגנון המותאם.

  • השוואת שכבות קשב

    בדיקת השפעת השינוי על שכבות האמצע לעומת שכבות אחרות של המודל כדי לראות את ההבדלים בתמונה.

איפה זה נופל

העמוד כרגע לא פעיל בגלל מצב ההשהיה שלו, כך שלא תקבלו תמונות בלחיצה רגילה. מעבר לזה, בהגדרות הכלי נכתב במפורש שהחלת המנגנון על שכבות עליונות או תחתונות אינה יציבה, והשימוש המומלץ מוגבל רק לשכבת האמצע. טעינת לורה חיצונית מסתמכת על נתיב מרוחק ועשויה להיכשל אם הקובץ לא תואם למבנה המדויק של SDXL.

שאלות
נפוצות

האם השימוש באפליקציה הזאת עולה כסף?

הקוד עצמו פתוח וחינמי לגמרי תחת רישיון MIT. מכיוון שהסביבה כרגע במצב מושהה, כדי להשתמש בה תצטרכו לשכפל אותה לחשבון שלכם, מה שעשוי לדרוש שעות חומרה בתשלום או במכסה שלכם.

האם אפשר להריץ את זה על המחשב בבית?

כן, הקוד הציבורי כתוב בעזרת ספריית diffusers הסטנדרטית ופייתון. תצטרכו כרטיס מסך שמסוגל להתמודד עם דרישות הזיכרון של SDXL כדי להריץ את הצינור מקומית.

במה המנגנון הזה שונה משימוש רגיל ב־SDXL?

במקום להסתמך רק על הנחיית טקסט מסוג CFG, הטכניקה הזו משנה שכבות קשב פנימיות בזמן הדגימה. זה מאפשר לקבל תוצאות מוגדרות וברורות יותר ואפילו לייצר תמונות שלמות בלי שום הנחיה טקסטואלית.

איך משתמשים

כותבים פרומפט בשדה הראשי ולוחצים על Generate. בהגדרות המתקדמות אפשר לקבוע ערכי CFG וערכי PAG, לבחור לאילו שכבות ברשת להחיל את השינוי, לשלוט בסיד ואפילו לטעון קובץ LoRA חיצוני מתוך Hugging Face.

הקוד מוגדר לרוץ על מאיץ גרפי ייעודי מסוג Zero A10G עם מעקב התקדמות חי. עם זאת, נכון לעכשיו העמוד נמצא במצב מושהה. המשמעות היא שאי אפשר להריץ אותו ישירות בדפדפן בלי להעיר או לשכפל את הסביבה לחשבון שלכם.

הרישיון

הפרויקט מופץ תחת רישיון MIT פתוח ומתירני. מותר להעתיק את הקוד, לשנות אותו ולהשתמש בו בחופשיות. התוצרים כפופים גם לתנאי הרישיון המקוריים של המודל SDXL של Stability AI שנטען ברקע.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא ב־Hugging Face ↗