cross-image-attention

מה זה

מעלים לממשק שתי תמונות נפרדות, אחת שמגדירה את המראה והסגנון ואחת שמספקת את המבנה והקומפוזיציה. בנוסף מזינים טקסט להגדרת התחום, תיאור טקסטואלי לצורך היפוך התמונה, וערך סיד לקביעת האקראיות. הפלט המוצג בגלריה הוא שילוב ששומר על הצורה המקורית ומקבל את המרקם מהתמונה השנייה.

מאחורי הקלעים רץ המודל stable-diffusion-v1-5 עם מנגנון cross image attention והיפוך לטנטים. הקוד טוען את המשקלים ומפעיל תהליך של העברת מראה שמנתח את שכבות תשומת הלב בין התמונות וממזג ביניהן ישירות ברמת הדיפוזיה.

מתאים ל

• החלפת טקסטורה של אובייקט

  לקיחת מרקם או צבע מתמונה אחת והלבשתם על צורה של אובייקט מתמונה אחרת.

• בדיקת שילובי סגנון

  שילוב מהיר בין קומפוזיציה קיימת לבין מראה אמנותי מוגדר לצורך ניסוי.

• מחקר על שכבות תשומת לב

  בחינה מעשית של התנהגות מנגנון cross image attention על גבי מודל דיפוזיה.

איפה זה נופל

הבעיה המיידית היא שהחלל נמצא במצב של תקלת הרצה ולא עובד כרגע בדפדפן. מעבר לזה, המערכת מבוססת על גרסה 1.5 הוותיקה, שמתקשה לעיתים בפרטים מורכבים או בשמירה מדויקת על קווי מתאר עדינים. אם התמונות שתעלו יהיו שונות מדי במבנה שלהן, התוצאה הסופית עלולה לצאת מרוחה או לא אמינה.

איך משתמשים

בפועל נכנסים לדף, גוררים את שתי התמונות לשדות המתאימים, וממלאים את שדות הטקסט של התחום והפרומפט. אפשר להשאיר את מספר הסיד על ברירת המחדל 42 או לשנות אותו כדי לקבל וריאציה שונה, ואז לוחצים על כפתור הייצור. יש בממשק גם דוגמאות מוכנות שאפשר לבחור מהן ישירות. ההדגמה מוגדרת לרוץ על מעבד גרפי a10g-small, חומרה שמספקת מהירות סבירה מאוד לעיבוד תמונות בדיפוזיה, אבל כרגע הדף מדווח על שגיאת זמן ריצה ולא מגיב לפעולות עד שיתוקן.

הרישיון

הפרויקט מפורסם תחת רישיון mit, שמאפשר שימוש חופשי בקוד, שינוי שלו והרצה מסחרית. לגבי התמונות שאתם מעלים או התוצרים שמתקבלים, הדבר כפוף לתנאי השימוש הרגילים של הרישיון ושל מודל הבסיס.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗