Kolors-FaceID

מה זה

אתם מעלים תמונת פנים וכותבים תיאור טקסט של מה שאתם רוצים לקבל. בצד השני יוצאת תמונה חדשה לגמרי, שמציגה את הדמות מתוך התצלום בתוך ההקשר שהגדרתם בטקסט, לצד מספר הסיד ששימש ליצירה. יש גם אפשרויות מתקדמות שכוללות פרומפט שלילי, כוונון מספר צעדי הריצה, ושינוי עוצמת ההנחיה.

מאחורי הקלעים רץ שילוב כבד של מודלים. הבסיס נשען על מודל התמונות Kolors יחד עם מתאם Kolors IP Adapter FaceID Plus ורכיבי Stable Diffusion XL. זיהוי הפנים מתבצע בעזרת ספריית InsightFace, מודל השפה ChatGLM3 מתרגם את הפרומפטים, ומודלי CLIP מעבדים את הייצוג הוויזואלי.

מתאים ל

• יצירת דמויות עקביות

  שילוב אותה דמות בסצנות שונות לפי תיאור טקסטואלי חופשי.

• בדיקת מתאם FaceID

  בחינת יכולות המיזוג של מודל הפנים של Kolors מול תמונות מקור.

• החלפת רקע וסגנון לדמות

  העלאת תמונת פנים וקבלת דיוקן חדש בתאורה, לבוש וסביבה אחרים.

איפה זה נופל

הבעיה המרכזית כרגע היא שההדגמה שבורה ולא זמינה לשימוש. מעבר לכך, הקוד מבוסס על InsightFace לחילוץ תווי הפנים, כך שתמונות עם פנים חתוכות, זוויות קיצוניות או תאורה קשה לא יזוהו כראוי. ההדגמה גם לא כוללת כלי עריכה מתקדמים כמו צביעה מקומית, אלא מייצרת תמונה שלמה מאפס בכל פעם.

איך משתמשים

הממשק מציג שדות להעלאת תמונה וכתיבת פרומפט, כפתור הרצה, ודוגמאות מוכנות מראש. בפועל אי אפשר להשתמש בו כרגע בדפדפן. המערכת מוגדרת על שרת בסיסי של מעבד בלבד ומדווחת על שגיאת ריצה. כדי להריץ צינור שמחזיק מודלי שפה ותמונה גדולים כאלה נדרש כרטיס גרפי, כך שלחיצה על הכפתור לא תניב תוצאה.

הרישיון

הפרויקט מפורסם תחת רישיון apache 2.0 שמאפשר שימוש חופשי בקוד, כולל התאמה ושימוש מסחרי. עם זאת, הקוד טוען משקלים של מודלים נפרדים כמו InsightFace ורכיבי Kolors, ולכל אחד מהם עשויים להיות תנאי שימוש נפרדים ומגבלות על התוכן.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗