ControlNet-Plus-Plus

מה זה

הממשק מאפשר להזין תמונות הנחיה וטקסט כדי לייצר תמונות חדשות שנשענות על המבנה המקורי. לפי הקוד, המערכת מחולקת לחמש לשוניות עבודה נפרדות לפי סוג הקלט: Lineart לציורי קו, Depth לנתוני עומק, Segmentation לחלוקת אזורים, SoftEdge לקצוות רכים, ו־Canny לזיהוי קצוות קלאסי.

מאחורי הקלעים רץ שילוב של מודל הבסיס botp/stable-diffusion-v1-5 יחד עם כלי עיבוד מקדימים מבית lllyasviel/Annotators ומודל הפילוח openmmlab/upernet-convnext-small. בנוסף, ישנו ממשק ייעודי המאפשר לבדוק מהו מודל הבסיס הפעיל ואף אפשרות תאורטית להחליף אותו במזהה מודל אחר, כל עוד ההגדרה בקוד פתוחה לשינוי.

מתאים ל

• יצירה מקווי מתאר

  המרת איורים וסקיצות ידניות לתמונות מרונדרות בעזרת לשוניות Lineart ו־Canny.

• שמירה על גיאומטריה

  הפקת וריאציות חדשות ששומרות בדיוק על מבנה החלל והמרחקים באמצעות מפות Depth.

• שליטה לפי מקטעים

  הגדרת תוכן לפי אזורים מובחנים בתמונה בעזרת מודל הפילוח UPerNet.

איפה זה נופל

הבעיה העיקרית היא שההדגמה שבורה ולא פעילה כרגע בגלל שגיאת ריצה. מעבר לזה, המודלים נשענים על גרסת הבסיס הוותיקה של סטייבל דיפיוז'ן 1.5, כך שאין כאן תמיכה במודלים מודרניים יותר. אם תנסו להחליף מודל בסיס ידנית, סביר שתיתקלו בחסימה בהגדרות הקוד המקוריות.

איך משתמשים

בפועל, כרגע אי אפשר להריץ את ההדגמה הזו בדפדפן. העמוד מדווח על שגיאת ריצה (RUNTIME_ERROR), כך שהממשק לא מגיב או קורס בעת העלייה. מעבר לכך, החומרה המוגדרת היא cpu-basic בלבד ללא מאיץ גרפי ייעודי, מה שאומר שגם אם המערכת תחזור לעבוד, כל תהליך יצירת תמונה ייקח זמן ממושך מאוד ולא יספק חוויית עבודה סבירה בלי לשכפל את החלל לחומרה חזקה יותר.

הרישיון

הקוד מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, העתקה והתאמה אישית של הסקריפטים. עם זאת, יש לקחת בחשבון את מגבלות הרישוי הנפרדות של מודל הבסיס Stable Diffusion 1.5 והרכיבים של OpenMMLab לגבי התוצרים והשימוש בהם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗