image-mixer-demo

מה זה

אתם בוחרים מה להזין, תמונה מקומית, כתובת תמונה ברשת או טקסט חופשי, וקובעים את עוצמת ההשפעה של כל קלט בעזרת מדד חוזק שנע בין אפס לחמש. בנוסף אפשר לכוון פרמטרים מוכרים כמו מספר צעדים, סיד, ורמת ההיצמדות להנחיות, והתוצאה מופיעה בגלריה מובנית.

מאחורי הקלעים רצים המודלים lambdalabs/sd-image-variations-diffusers וגרסת image-mixer שמבוססת על משקולות מקובץ image-mixer-pruned.ckpt עם CLIP ודוגמי דיפוזיה כמו DDIM או PLMS. המערכת מחברת את הייצוגים הווקטוריים של הקלטים ומייצרת מהם תמונה חדשה לגמרי שמנסה לתפוס את המאפיינים של כולם.

מתאים ל

• שילוב בין שתי תמונות

  מעלים שני צילומים וממזגים את הסגנון של האחד עם הקומפוזיציה של האחר.

• הוספת הנחיה לתמונה

  מזינים תמונה קיימת יחד עם תיאור טקסטואלי כדי לכוון את היצירה לכיוון חדש.

• בדיקת התנהגות מודל

  בוחנים איך מודל הדיפוזיה מגיב למשקלי חוזק שונים בין מקורות ויזואליים שונים.

איפה זה נופל

הבעיה המיידית היא שהחלל תקוע בשגיאת בנייה, כך שכרגע אי אפשר לבדוק אותו באתר בלי לפתור את התקלות בקוד. מעבר לכך, הממשק מקובע להוצאת דגימה אחת בלבד בכל ריצה, וערבוב חזק מדי של מספר קלטים שונים עלול להניב בלגן ויזואלי שלא מייצג אף אחד מהם.

איך משתמשים

לוחצים על כפתור הייצור וממתינים. ההדגמה מוגדרת לרוץ על חומרת t4-medium, אך כרגע היא במצב של שגיאת בנייה ולכן אי אפשר להריץ אותה ישירות בדפדפן. במצב תקין העיבוד על חומרה כזו אמור לקחת שניות בודדות לכל תמונה עם ברירת המחדל של שלושים צעדים.

הרישיון

הקוד והמודלים משוחררים תחת רישיון openrail. הוא מתיר שימוש חופשי ופיתוח המשך, אך כולל מגבלות שימוש אתיות שאוסרות על יצירת תוכן פוגעני, מטעה או בלתי חוקי.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא ב־Hugging Face ↗