hysts/ControlNet

מה זה

הממשק מחולק ללשוניות לפי סוגי הקלט השונים של ControlNet, וכולל אפשרויות כמו זיהוי קצוות באמצעות Canny, HED או Hough, מפות עומק, מפות נורמלים, זיהוי תנוחות גוף דרך OpenPose, ואיורים חופשיים בלשוניות Scribble הרגילה והאינטראקטיבית. אתם מעלים תמונה מנחה או מציירים ישירות בחלון, ומקבלים תמונה חדשה שנוצרת לפי המבנה המקורי.

מאחורי הקלעים הקוד טוען את חבילת המודלים הרשמית של lllyasviel יחד עם מודל בסיס של Stable Diffusion. יש בממשק גם אזור ייעודי לבדיקת מודל הבסיס הפעיל, אך הקוד נועל במפורש את היכולת להחליף את מודל הבסיס ישירות במרחב הציבורי הזה.

מתאים ל

• הפקת תמונה מתנוחת גוף

  העלאת צילום אדם לחילוץ שלד תנועה בלשונית Pose ויצירת דמות חדשה באותה העמדה.

• שמירה על גיאומטריה בעומק

  שימוש בלשוניות Depth או Normal map כדי לבנות תלת ממד מחדש עם טקסטורות שונות.

• איור סקיצה חופשי

  ציור קווי מתאר ישירות בלשונית Scribble Interactive להנחיית יצירת תמונה יש מאין.

איפה זה נופל

הבעיה המרכזית כרגע היא מצב המערכת, שנמצאת בשגיאת ריצה מתמשכת ולא מגיבה לפעולות. גם אם המרחב היה פעיל, חומרת מעבד בסיסית אינה מותאמת להרצת מודלי דיפוזיה כבדים ומייצרת זמני המתנה ארוכים מאוד. בנוסף, האפשרות להחליף מודל בסיס חסומה כאן בקוד, כך שאין גמישות בבחירת המודל שמייצר את התוצאה.

איך משתמשים

נכנסים לעמוד, בוחרים את הלשונית שמתאימה לטכניקה הרצויה כמו Pose או Depth, מעלים את תמונת המקור ומפעילים את העיבוד. אין צורך בהרשמה או התחברות לחשבון.

המרחב מוגדר כרגע על חומרת cpu-basic הפשוטה ביותר, ובנוסף הסטטוס שלו מדווח שגיאת ריצה. בפועל זה אומר שאי אפשר להריץ עליו יצירות כרגע בדפדפן בלי לשכפל את הקוד לחומרה מתאימה.

הרישיון

הפרויקט מפורסם תחת רישיון mit, שמאפשר שימוש חופשי בקוד, כולל עריכה, הפצה והרצה עצמאית. לגבי התמונות שאתם מעלים או מפיקים, הרישיון לא מגדיר תנאי בעלות ספציפיים עליהן, אך מומלץ לא להעלות חומרים רגישים לממשק ציבורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗