Kolors-IPAdapter

מה זה

אתם מעלים תמונה ומקלידים תיאור טקסטואלי, ומקבלים פלט ויזואלי ברזולוציה של עד 1024 על 1024 פיקסלים. אפשר לכוונן את מידת ההשפעה של תמונת המקור באמצעות סליידר ייעודי, לצד הגדרות מתקדמות כמו פרומפט שלילי, סיד, מספר צעדי דגימה וערך הנחיה. הממשק מכיל גם דוגמאות מוכנות מראש לטעינה מהירה.

מאחורי הקלעים רץ שילוב של מודל התמונות Kolors יחד עם Kolors-IP-Adapter-Plus. המערך הזה משתמש ב־ChatGLM3 לעיבוד הטקסט, במקודד התמונה של CLIP לניתוח הרפרנס הוויזואלי, ובארכיטקטורת UNet מותאמת של Stable Diffusion XL לייצור התוצאה הסופית.

מתאים ל

• העברת סגנון אומנותי

  לקיחת פלטת צבעים וסגנון ציור מתמונה קיימת ויצירת סצנה חדשה לגמרי על פיהם.

• שמירה על דמות עקבית

  הזנת תמונת פנים או דמות ויצירת מגוון פעולות וסביבות חדשות באותו מראה.

• פיתוח קונספטים לעיצוב

  שילוב בין צורניות של חפץ קיים לתיאור טקסטואלי לקבלת רעיונות למוצרים חדשים.

איפה זה נופל

הבעיה המיידית היא שהמרחב מושהה כרגע, ולכן הוא לא עובד בלחיצה פשוטה. מעבר לכך, עיבוד מבוסס 50 צעדים על חומרת A10G דורש זמן ואינו מיידי. הממשק גם מציג דוגמאות בטעינה עצלה, כך שאי אפשר להסיק מהן על זמן הרינדור בפועל. חשוב לזכור שהמודל מסתמך על מקודד טקסט סיני בעיקרו, כך שהבנת פרומפטים מורכבים בשפות שאינן אנגלית או סינית עשויה להיות מוגבלת מאוד.

איך משתמשים

כדי להתחיל, גוררים תמונה לחלון המיועד, כותבים פרומפט ולוחצים על כפתור ההרצה. אם רוצים לדייק, פותחים את תפריט ההגדרות המתקדמות ומשנים את הרזולוציה או כמות הצעדים, שמוגדרת כברירת מחדל ל־50 צעדים. סרגל התקדמות מציג את תהליך הרינדור בזמן אמת.

התוכנה רצה על מעבד גרפי מדגם A10G דרך תשתית ענן, אך כרגע הדף מוגדר במצב מושהה. המשמעות היא שאי אפשר להריץ אותו ישירות בדפדפן בלי להפעיל אותו מחדש, מה שדורש המתנה לעליית השרת או העתקה לסביבה פעילה משלכם.

הרישיון

הקוד מופץ תחת רישיון MIT שמאפשר שימוש חופשי, כולל שימוש מסחרי והתאמה אישית. עם זאת, המודלים עצמם מגיעים ממקורות נפרדים ומשלבים רכיבים של Kwai, יציבות ו־OpenAI, ולכן חובה לבדוק את תנאי השימוש של משקלי המודל לפני הפצה מסחרית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗