GPT
הוספת כלי
Z

Z-Image-Fun-Controlnet-Union-2.1

קוד פתוח

alibaba-paiapache-2.02026-02-02

  • videox_fun

מודל בקרה מאוחד לזיהוי והכוונת תמונה שמרכז תנאי שליטה מרובים בקובץ אחד. הוא מתאים למי שרוצה לשלוט בפוזות, קווי מתאר ותיקוני אזורים בלי להחליף מודלים כל רגע.

  • 16.3 GBמשקל הקבצים
  • 6,354הורדות בחודש
  • 63לייקים

מה זה

מדובר במודל שליטה מסוג ControlNet Union שמיועד לעבוד לצד מודל הבסיס Z-Image. במקום להחזיק מודל נפרד לכל סוג קלט, הוא מקבל תנאים מגוונים כמו Canny, עומק, Pose, קווי MLSD, שרבוטים, Hed ומפות שחור לבן, ואפילו תומך במצב Inpainting ישירות.

השליטה במודל המלא מיושמת על גבי 15 בלוקים של שכבות ועוד שני בלוקים של Refiner. החבילה מציעה גם גרסאות Lite שמפעילות שליטה רק על 3 בלוקים ושני בלוקים של Refiner, יחד עם דגמי Tile שמתאימים לשחזור והגדלת רזולוציה עד 2048 על 2048 פיקסלים.

מתאים ל

  • שחזור והגדלת תמונות

    מודל ה־Tile מאפשר הגדלת תמונות לרזולוציה גבוהה של עד 2048 על 2048 פיקסלים תוך שמירה על הפרטים.

  • יצירה לפי שלד תנועה

    שילוב של Pose יחד עם עריכת Inpaint כדי לכוון דמויות לתנוחה מדויקת לפי קלט קיים.

  • הפקה מקווי מתאר ומפות עומק

    ייצור תמונות שמבוססות על Canny או Depth במערכת אחת בלי להחליף מודלי בקרה שונים.

איפה זה נופל

השליטה במודל דורשת משחק מתמיד עם הפרמטר control_context_scale, שהטווח המומלץ שלו הוא 0.65 עד 1.00 בלבד. אם עובדים ב־Inpainting חייבים להעלות את הערך הזה כדי לשמור על רציפות התמונה, ובכל מקרה המפתחים מציינים שבלי פרומפט מפורט מאוד המודל מאבד יציבות. בנוסף, גרסאות ה־Lite אמנם קלות יותר אך מציעות רמת בקרה חלשה יותר מראש.

שאלות
נפוצות

מה ההבדל בין הגרסה הרגילה לגרסת ה־Lite?

הגרסה המלאה מתערבת ב־15 בלוקים של שכבות ומספקת הצמדות חזקה לקלט, אך דורשת חומרה כבדה. גרסת ה־Lite פועלת על 3 בלוקים בלבד, מתאימה למחשבים חלשים יותר, ומייצרת תוצאות טבעיות יותר שמאפשרות שימוש בערכי סקייל גבוהים.

איך מוודאים שהתוצאה לא תתפרק בזמן יצירה?

הכרטיס ממליץ לעבוד עם פרומפטים מפורטים ככל האפשר כדי לייצב את הפלט. בנוסף, מומלץ לשמור את ערך ה־control_context_scale בטווח שבין 0.65 ל־1.00, ולהגדיל אותו במיוחד כשעובדים במצב Inpainting.

איך מריצים

כדי להריץ אותו צריך לשכפל את המאגר VideoX-Fun מגיטהאב, לסדר את התיקיות תחת models ולהוריד לשם את המשקולות של מודל הבסיס ואת קובצי הספציפיים. ההרצה נעשית דרך סקריפטים ייעודיים של פייתון כמו predict_t2i_control_2.1 או גרסת ה־inpaint.

ההורדה שוקלת 16.3 גיגהבייט ודורשת חומרה חזקה, במיוחד בגרסה המלאה של 15 הבלוקים. אם אתם עובדים על מחשב חלש יותר, גרסאות ה־Lite דורשות פחות משאבים ומספקות שליטה עדינה ומשוחררת יותר. אין כאן שירות ענן מובנה או API מוכן, אז הכל יושב על הברזלים שלכם.

pip install -U huggingface_hub
hf download alibaba-pai/Z-Image-Fun-Controlnet-Union-2.1

הקבצים

26 קבצים במאגר, 16.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל שוחרר תחת רישיון Apache 2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי הקוד והפצה של המודל כחלק ממוצר, בתנאי ששומרים על הודעות זכויות היוצרים ומצרפים עותק של הרישיון.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗