Z-Image-Turbo-Fun-Controlnet-Union

קוד פתוח

alibaba-paiapache-2.02025-12-02

videox_fun

זה מודל בקרה מאוחד שמשלב כמה תנאי הנחיה בקובץ אחד קטן יחסית. הוא נותן שליטה בפוזות, קצוות ועומק בלי להחזיק משקולות נפרדות לכל משימה.

2.9 GBמשקל הקבצים
52,767הורדות בחודש
382לייקים

מה זה

עליבאבא אימנו כאן מודל בקרה מאפס על מיליון תמונות ברזולוציה של 1328 פיקסלים בדיוק BFloat16. הרעיון במבנה יוניון הוא איחוד יכולות, במקום להוריד מודל ייעודי לקווי מתאר ומודל נפרד לשלד גוף, מקבלים שכבת בקרה אחת שמחוברת לשישה בלוקים ויודעת לטפל בכמה אותות שונים.

הוא מזהה ומקבל קלטים של Canny, HED, מפות עומק, שלדי Pose וקווים ישרים מסוג MLSD. האימון נמשך עשרת אלפים צעדים בלבד עם יחס השמטת טקסט של עשרה אחוזים, כך שההתנהגות שלו נשענת חזק על האיכות של הטקסט שמכניסים יחד עם תמונת הבקרה.

מתאים ל

העמדת דמויות לפי שלד
שליטה ישירה בפוזה של דמות אנושית לפי תמונת שלד מוכנה, בלי לנעול את שאר הפרטים בסצנה.
בניית תמונות לפי קווי מתאר
יצירה ששומרת על גבולות אובייקטים וצורות הנדסיות באמצעות מפות Canny, HED או MLSD.
קומפוזיציה מבוססת עומק
שימוש במפת Depth כדי להכתיב מה נמצא בחזית ומה ברקע של התמונה החדשה.

איפה זה נופל

האימון נעצר אחרי עשרת אלפים צעדים בלבד, והיוצרים מציינים במפורש שהם מתכננים לאמן על יותר נתונים ויותר צעדים בעתיד. הגרסה הזו לא כוללת מצב אינפיינטינג, כך שאי אפשר להשתמש בה לתיקון מקומי של אזורים בתמונה. בנוסף, המודל רגיש לחוסר יציבות אם הפרומפט קצר מדי, וחובה לכוונן ידנית את מקדם השליטה לטווח שבין 0.65 ל־0.80 כדי לקבל תוצאה סבירה.

שאלות
נפוצות

למה התוצאה יוצאת מרוחה או מתעלמת מתמונת הקלט?

המודל דורש פרומפט טקסטואלי מפורט כדי לייצב את התוצאה. בנוסף, חובה לכוון את הפרמטר control_context_scale לערך שבין 0.65 ל־0.80 כדי לאזן בין ההנחיה לפרטים.

האם אפשר לתקן חלקים ספציפיים בתמונה קיימת?

לא בגרסה הזו. מצב עריכה פנימית לא נתמך כאן, ומי שצריך את זה יצטרך לבדוק את גרסה 2.0 של המודל שבה היכולת הזו קיימת.

איך מריצים

המשקלים שוקלים 2.9 גיגה בייט, כך שמבחינת זיכרון מאיץ גרפי ממוצע יחזיק אותם בלי בעיה לצד מודל הבסיס. כדי להריץ את זה צריך לשבט את מאגר הקוד VideoX-Fun, לסדר תיקיות ייעודיות לטרנספורמר ולמשקלי הבקרה, ולהפעיל את סקריפט הדוגמה predict_t2i_control.

קחו בחשבון שכבר קיימת גרסה 2.0 עם יותר בלוקי בקרה ותמיכה בעריכת תמונה, אז לפני שאתם בונים שרשרת עבודה סביב הקובץ הזה כדאי לבדוק אם הגרסה החדשה יותר עונה על הדרישות שלכם.

pip install -U huggingface_hub
hf download alibaba-pai/Z-Image-Turbo-Fun-Controlnet-Union

הקבצים

13 קבצים במאגר, 2.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

רישיון apache-2.0 מאפשר שימוש מסחרי חופשי, שינוי של הקוד והפצה של המשקלים בתוך מוצר. התנאי העיקרי הוא שמירת הודעת זכויות היוצרים והרישיון המקורי, בלי אחריות משפטית מצד המפתחים של עליבאבא.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗