unity/IP-Adapter-Instruct

מה זה

מעלים תמונה של פנים ובוחרים הנחיה מתוך תפריט לצד טקסט חופשי. הממשק לוקח את המאפיינים החזותיים של הקובץ ומייצר תמונה חדשה שמנסה להישמע להוראות המילוליות שהגדרתם.

מאחורי הקלעים פועל המודל של CiaraRowles בשילוב עם מודל הבסיס Realistic Vision V4 ומנגנון הזרקת המאפיינים של IP-Adapter. העיבוד מסתמך על מחלץ המאפיינים של CLIP יחד עם בודק בטיחות מובנה שמסנן תוצאות לא הולמות.

הקוד כולל גם הגדרות מתקדמות שבהן קובעים את עוצמת ההשפעה של התמונה המקורית באמצעות סליידר ייעודי, לצד מחרוזת מובנית שמונעת יצירת עירום או תכנים חושפניים ישירות בפלט הגרפי.

מתאים ל

• בדיקת התאמת פנים

  יצירת דמויות עקביות לפי תמונת מקור כדי לראות איך מודל ההנחיות משנה סגנונות.

• ניסוי מהיר בטקסט לפנים

  בחינת יכולות השילוב בין פקודות מילוליות לתמונת קלט בלי להתקין סביבת פיתוח.

• הערכת מגבלות סינון

  בדיקת האופן שבו מסנני בטיחות ומילות שלילה משפיעים על הפלט הסופי של המודל.

איפה זה נופל

הקוד כולל סינון אגרסיבי למדי נגד תוכן לא הולם שמחזיק מילות שלילה קבועות מראש, מה שעלול לחסום גם בקשות לגיטימיות. בנוסף, ההתבססות על מודל Realistic Vision הישן יותר מייצרת לפעמים תוצאות פחות חדות או עיוותים באזורים מורכבים. לא הייתי בונה על זה להפקות מקצועיות שדורשות דיוק מוחלט בפרטים של הפנים.

איך משתמשים

מעלים תמונה לחלון המיועד, מקלידים הנחיה רצויה בתיבת הטקסט, בוחרים אפשרות בתפריט ולוחצים על כפתור השליחה. העיבוד רץ על מאיץ גרפי ייעודי מסוג A10G דרך התשתית של זירו, כך שלא צריך להוריד משקלים כבדים למחשב. במידה ויש עומס תמתינו בתור קצר של המערכת, אך תהליך היצירה עצמו אורך שניות בודדות.

הרישיון

הרישיון לא דווח בעמוד של המרחב. המשמעות היא שאין הרשאה ברורה לגבי שימוש מסחרי בקוד או בפלטים, ורצוי להיזהר לפני שמטמיעים תוצרים בפרויקטים עסקיים.

הרישיון המלא ב־Hugging Face ↗