Kolors-IP-Adapter-Plus

מה זה

הפיתוח הזה מביא את יכולות ה־IP-Adapter אל מודל הבסיס Kolors, כשהמטרה היא לקחת תמונה קיימת, לחלץ ממנה מאפיינים ולשלב אותם בתהליך היצירה לצד הטקסט. בשונה מהגרסאות המקוריות של השיטה, המפתחים החליפו כאן את רכיב קידוד התמונה ב־Openai-CLIP-336, מה שמאפשר שמירה על רזולוציה ופרטים עדינים יותר מתוך הרפרנס שהזנתם.

במבחן שערכו היוצרים מול מעריכים אנושיים ו־200 דוגמאות, המודל קיבל ציון של 3.04 בשביעות רצון כללית ו־3.25 בנאמנות לתמונת המקור. המספרים האלה מציגים יתרון על פני SDXL-IP-Adapter-Plus שקיבל 2.29 ו־2.64 בהתאמה, וגם עוקפים במעט את התוצאות שנמדדו למנגנון ה־CW של Midjourney v6. בפועל זה אומר שהמודל מצליח להעביר את הסמנטיקה של תמונת הקלט בצורה מדויקת יותר, בלי לאבד לגמרי את המשמעות של הפרומפט הטקסטואלי.

מתאים ל

• העתקת סגנון אומנותי

  שילוב רפרנס חזותי להחלת מראה, תאורה וצבעים על יצירה חדשה באמצעות CLIP-336.

• שמירה על מאפייני דמות

  יצירת תמונות חדשות שמשמרות את הלבוש והמבנה הכללי של דמות מתמונת מקור.

• יצירה מפרומפט בסינית

  הפקת תמונות מותאמות אישית בשילוב תיאורים בסינית, תחום שבו המודל הציג ביצועים גבוהים.

איפה זה נופל

הבעיה הבולטת ביותר בהשוואות של המפתחים היא שהבדיקות שלהם נערכו עם פרומפטים בסינית, בעוד שאר המודלים נבחנו באנגלית. אם אתם עובדים באנגלית, לא בטוח שתקבלו את אותם ציוני איכות שנמדדו במבחן הפנימי שלהם.

בנוסף, הכרטיס מציג ציוני נאמנות תמונה של 3.25 מתוך 5, מה שאומר שעדיין יש מקרים שבהם המודל מפספס אלמנטים מהותיים מהרפרנס. מי שמחפש העתקה מוחלטת של תווי פנים של אדם יגלה שהתוסף הזה עדיין מוגבל, והמפתחים עצמם מציינים שגרסה ייעודית לזיהוי פנים אמורה לצאת בנפרד.

איך מריצים

ההורדה עצמה שוקלת 2.5 גיגה בייט, שזה נפח קטן יחסית, אבל חשוב לזכור שהמשקלים האלה לא עובדים לבד. כדי להריץ אותם תצטרכו את סביבת Kolors המלאה, כולל תוכנת פייתון 3.8, תלויות תואמות ומודל הבסיס עצמו, שדורש מעבד גרפי חזק עם זיכרון וידאו משמעותי.

הקוד מתבסס על ספריית diffusers ומורץ באמצעות סקריפט ייעודי שמקבל נתיב לתמונה ופרומפט. אם אין לכם שרת עם כרטיס מסך מודרני שיכול להחזיק גם את מודל הבסיס וגם את מקודד ה־CLIP ברקע, כנראה שעדיף לחפש נקודת קצה מנוהלת ולא להסתבך עם התקנה מקומית מורכבת.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("Kwai-Kolors/Kolors-IP-Adapter-Plus")
img = pipe("a photo").images[0]

הקבצים

13 קבצים במאגר, 2.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• image_encoder/pytorch_model.bin1.7 GB
• ip_adapter_plus_general.bin1.0 GB
• compare_demo.png5.3 MB
• demo.png3.1 MB
• image_encoder/tokenizer.json2.2 MB
• image_encoder/vocab.json862.3 KB
• image_encoder/config.json4.8 KB
• README.md4.5 KB
• .gitattributes1.6 KB
• image_encoder/tokenizer_config.json844 B
• image_encoder/preprocessor_config.json316 B
• config.json2 B
• model_index.json2 B

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקוד והפצה של המוצר, בתנאי ששומרים על הודעות זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗