Attend-and-Excite

מה זה

אתם מקלידים פרומפט טקסטואלי ומקבלים תמונה בודדת. הממשק מבוסס על מודל CompVis/stable-diffusion-v1-4, אבל במקום להריץ רק את הצינור הרגיל, יש כאן יישום של Attend-and-Excite דרך ספריית diffusers. הטכניקה הזו נועדה לוודא שהמודל לא ישכח אף פרט שכתבתם בתיאור.

בצד הקלט פותחים תיבה לבדיקת אינדקסים של טוקנים, לוחצים על Show token indices, ומקבלים טבלה עם מספרי המילים. את המספרים האלה מזינים לשדה ייעודי, כדי שהאלגוריתם יידע לאילו עצמים לתת תשומת לב מיוחדת. אפשר גם לסמן תיבת בחירה כדי להפעיל או לכבות את ההרחבה ולהשוות אותה למודל הבסיסי, לקבוע סיד, לשנות את מספר שלבי ההסקה ולכוונן את ה־guidance scale. הממשק כולל רשימה של דוגמאות מובנות להרצה מהירה.

מתאים ל

• הפקת סצנות מרובות עצמים

  יצירת תמונות שבהן חובה שכל הפריטים שהוזכרו בטקסט יופיעו במקביל ולא ייבלעו ברקע.

• השוואת ביצועי מודלים

  בדיקת ההבדל הפיקסלי בין ריצת SD 1.4 רגילה לבין ריצה מונחית קשב באמצעות כיבוי והדלקת התיבה.

• מחקר על תשומת לב בטקסט

  הבנת האופן שבו מילים בודדות ואינדקסים ספציפיים משפיעים על שכבות תשומת הלב של רשת הדיפוזיה.

איפה זה נופל

הבעיה המרכזית היא שהחלל תקוע בשגיאת קונפיגורציה ולא מייצר תמונות כרגע. מעבר לזה, השימוש מצריך התעסקות ידנית בפירוק הפרומפט לטוקנים, במקום שהכלי יזהה לבד את מילות המפתח. המודל שמתחת הוא גרסה 1.4 הישנה של סטייבל דיפיוז'ן, כך שאיכות התמונה הבסיסית מוגבלת ביחס למודלים מודרניים יותר.

איך משתמשים

כותבים פרומפט, בודקים את הטבלה כדי להוציא את האינדקסים של המילים שחשוב לכם לראות, מזינים אותם ולוחצים על Generate. ההדגמה מוגדרת לרוץ על חומרת zero-a10g שמקצה כרטיס גרפי בעת ההפעלה, אבל כרגע המצב של היישום מוגדר כ־CONFIG_ERROR. זה אומר שאי אפשר להריץ אותו ישירות בדפדפן כרגע עד שהיוצרים יתקנו את התצורה.

הרישיון

הקוד מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, שינוי והפצה, כולל לצרכים מסחריים. מאחר שאתם מריצים את הקוד מול מודל SD 1.4, השימוש בפלט כפוף גם לתנאי הרישיון המקוריים של המודל.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗