Kolors-Controlnet_and_IPA

מה זה

אתם מעלים תמונת מקור להנחיה מבנית, תמונה נוספת להעתקת סגנון דרך IP-Adapter, וכותבים תיאור טקסטואלי. בצד יש הגדרות מתקדמות שכוללות פרומפט שלילי, עוצמת השפעה של הבקרים, מספר צעדי עיבוד וערך סיד. הפלט מציג גלריה של תמונות שנוצרו לפי השילוב הזה.

מאחורי הקלעים רץ שילוב של מודל Kolors עם מפענחי תנועה ועומק כמו DWpose ו־Midas, יחד עם מעבד התמונות של CLIP. הממשק מחלק את אפשרויות העבודה לפי שלושה סוגי בקרה: קווי מתאר בשיטת Canny, מפת עומק, או תנוחת גוף, וכולל דוגמאות מוכנות לכל אחד מהמצבים האלה.

מתאים ל

• שחזור תנוחת גוף

  העתקת פוזיציה מדויקת מתצלום קיים לתוך דמות חדשה שנוצרת מטקסט.

• עיצוב לפי מפת עומק

  שמירה על מבנה החלל והמרחקים של חדר או סביבה תוך החלפת הסגנון.

• העברת סגנון מתמונה

  שאיבת אופי ויזואלי מצילום רפרנס ושילובו ביצירה חדשה עם IP-Adapter.

איפה זה נופל

הבעיה המרכזית היא שהדמו שבור כרגע ולא מופעל בפועל. מעבר לזה, ניסיון להריץ מודלים כבדים כאלה על מעבד רגיל במקום כרטיס גרפי יוביל לקריסה או לזמני עיבוד בלתי נסבלים. הדוגמאות בעמוד נראות טוב, אבל הן מבוססות על הרצה בסביבת פיתוח חזקה ולא על מה שזמין כרגע בממשק המקוון.

איך משתמשים

כרגע אי אפשר להריץ את הדמו בדפדפן. המערכת מדווחת על שגיאת בנייה בשרת, והחומרה שמוגדרת לה היא מעבד בסיסי בלבד. כשהקוד עובד, בוחרים כפתור הפעלה לפי סוג הבקרה המבוקש וממתינים לעיבוד. לא נדרשת הרשמה מיוחדת, אבל במצב הנוכחי הממשק פשוט לא יעלה או לא ייצר תוצאות.

הרישיון

הקוד והפרויקט מפורסמים תחת רישיון apache-2.0, שמאפשר שימוש חופשי וגמיש, כולל התאמות מסחריות בכפוף לתנאי הרישיון. עם זאת, יש לקחת בחשבון את המודלים השונים שמורדים פנימה, כמו רכיבי Stable Diffusion ומשקלי הרשת המקוריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗