Qwen-Image-ControlNet

מה זה

אתם מעלים תמונת מקור, כותבים הנחיה טקסטואלית באנגלית ובוחרים את סוג הבקרה הרצוי. הפלט כולל שתי תמונות, התוצאה הסופית שנוצרה ותמונת הבקרה שמראה מה המערכת חילצה מהקובץ המקורי שלכם, למשל מפת עומק או שלד של דמות.

מאחורי הקלעים רץ שילוב של מודל התמונות Qwen Image עם ControlNet Union של InstantX. כדי להבין את התמונה שלכם, המערכת משתמשת בכלים ייעודיים: Depth-Anything-V2 לחילוץ עומק תלת ממדי, Anyline לזיהוי קווי מתאר מדויקים, ו־Openpose לזיהוי מנחי גוף אנושיים. בנוסף, יש אפשרות להרחבת הפרומפט בעזרת מודל שפה ממשפחת Qwen.

מתאים ל

• החלפת סגנון ושמירת קומפוזיציה

  המרת תמונה קיימת לאיור או לסגנון אמנותי אחר בעזרת זיהוי קווים, בלי לשנות את מבנה הפריטים.

• שחזור פוזה של דמות

  חילוץ מנח גוף מאדם בתמונה אחת והלבשתו על דמות חדשה לגמרי באמצעות זיהוי שלד של Openpose.

• יצירה מונחית עומק

  בניית סצנה חדשה שמבוססת על מפת העומק של המקור כדי לשמור על מרחקים ופרספקטיבה מדויקים.

איפה זה נופל

הכלי מוגבל לסוגי הבקרה שהוגדרו מראש בקוד, כך שאי אפשר להזין סתם כל שכבת מידע. אם מודל העזר יפספס את קווי המתאר או את השלד של הדמות בתמונה שהעליתם, התוצאה הסופית תתעוות לחלוטין. כמו כן, הרחבת הפרומפט האוטומטית עלולה לקחת את התיאור שלכם לכיוונים עמוסים מדי שלא ביקשתם, ועדיף לכבות אותה כשמחפשים דיוק.

איך משתמשים

גוררים תמונה לחלון הקלט, מקלידים תיאור ולוחצים על Generate. אם לא תעלו תמונה או תשכחו לכתוב הנחיה, הממשק יקפיץ שגיאה ולא יתחיל לעבוד. בהגדרות המתקדמות אפשר לשנות את חוזק ההשפעה של הבקרה, מספר צעדי היצירה והסיד.

הריצה מתבצעת על גבי מעבד גרפי מסוג zero-a10g שמקצה משאבים לפי דרישה. זה אומר שלעיתים תצטרכו להמתין שניות בודדות עד שהחומרה תתעורר ותטען, ולאחר מכן יש פס התקדמות שמציג את קצב העבודה של המודלים.

הרישיון

הקוד מופץ תחת רישיון MIT, מה שמעניק חופש מלא לשימוש, שינוי והפצה, כולל לצרכים מסחריים. התמונות שאתם מעלים והתוצרים שנוצרים מעובדים ישירות דרך השרת שמריץ את הממשק.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗