InstantStyle-SDXL-Lightning

מה זה

אתם מזינים תמונת סגנון ופרומפט מילולי, והממשק מייצר תמונה חדשה שמשלבת ביניהם. בהגדרות המתקדמות אפשר להוסיף גם תמונת מקור למבנה, לשלוט על עוצמת ההשפעה של הסגנון ולהכניס פרומפטים שליליים לתוכן או לסגנון כדי לנקות אלמנטים לא רצויים.

מאחורי הקלעים רץ שילוב של SDXL-Lightning יחד עם IP-Adapter ו־ControlNet Canny על בסיס Stable Diffusion XL. המטרה של InstantStyle היא להפריד בין התוכן לסגנון של תמונת הרפרנס, כדי שהתוצאה לא תעתיק אובייקטים מהתמונה המקורית אלא רק את הצבעים והטקסטורה. הממשק כולל דוגמאות מובנות שמציגות שילוב בין תמונות סגנון, תמונות מקור והנחיות טקסט שונות.

מתאים ל

• העתקת סגנון איור

  לקיחת פלטת צבעים וטקסטורה מציור קיים והחלתם על דמות או סצנה חדשה לגמרי לפי טקסט.

• שמירה על מבנה וסגנון

  שימוש בתמונת מקור עם ControlNet יחד עם תמונת סגנון כדי לייצר וריאציה מדויקת לקומפוזיציה קיימת.

• בדיקת שילובים מהירה

  ניסוי מהיר של פרומפטים שונים על אותו רפרנס אמנותי בעזרת המודל המהיר של Lightning.

איפה זה נופל

הבעיה המרכזית כרגע היא טכנית לחלוטין: העמוד מציג שגיאת ריצה ולכן לא מייצר שום דבר חדש בלחיצה. בנוסף, חומרת ה־CPU הבסיסית שעליה הוא יושב לא מסוגלת לספק את אותן 9 שניות שמובטחות בתיאור בלי מאיץ גרפי ייעודי ברקע.

גם כשהמודל עובד, InstantStyle נוטה לפעמים לערבב תוכן לא רצוי מתוך תמונת הסגנון אם הניגודיות מורכבת מדי, ומחייב משחק עדין עם הסליידרים של ההשפעה והפרומפט השלילי כדי לקבל תוצאה מדויקת.

איך משתמשים

לוחצים על Generate Image ומחכים. לפי התיאור היצירה אמורה לקחת סביב 9 שניות בזכות Lightning, בלי צורך בהרשמה מראש. יש אפשרות לבחור דוגמאות מוכנות שנשמרו מראש כדי לראות תוצאה מיידית.

בפועל, הדף מוגדר על חומרת מעבד בסיסית וכרגע מדווח על שגיאת ריצה. כל עוד השרת במצב הזה, אי אפשר להריץ יצירות חדשות ישירות בדפדפן אלא רק לבדוק את הדוגמאות השמורות או את הקוד.

הרישיון

הקוד והפרויקט מפורסמים תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי והפצה גם לצרכים מסחריים. לגבי התמונות שאתם מעלים או מפיקים, השימוש כפוף לתנאי הרישיון של המודלים המקוריים של SDXL ו־ByteDance שנמצאים בבסיס המערכת.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗