FLUX.1-dev-ControlNet-Union-Pro-2.0
קוד פתוחShakker-Labsother2025-04-14
במקום להחזיק מודל נפרד לכל סוג שליטה, הקובץ הזה מרכז חמישה מצבי בקרה שונים למודל הבסיס של פלוקס. מקבלים כאן דיוק טוב יותר בקווים ובתנוחות גוף בלי להעמיס משקל עודף על השרת.
- 2.1Bפרמטרים
- 4.0 GBמשקל הקבצים
- 9,415הורדות בחודש
- 463לייקים
מה זה
מדובר במודל שליטה מאוחד שמתלבש על מודל הבסיס FLUX.1-dev. הוא כולל תמיכה בחמישה מצבים שונים: קווי קאני, קצוות רכים, מפות עומק, תנוחות גוף ותמונות בגווני אפור. הצוות בנה אותו מחדש מאפס לאורך שלוש מאות אלף צעדי אימון על עשרים מיליון תמונות, תוך הסרת שכבת הקידוד של המצבים כדי לחסוך מקום ולשפר את התוצאות הוויזואליות ביחס לגרסה הראשונה.
ההבדל המרכזי מול מתאמי שליטה רגילים הוא הגמישות. אפשר להפעיל אותו עם תנאי בודד או לשלב כמה תנאים יחד בלי להחליף משקולות בזיכרון, ואפילו להריץ אותו לצד מתאמים אחרים במקביל. מי שצריך שליטה מדויקת בקומפוזיציה מקבל פתרון שמרכז את רוב הצרכים השוטפים בחבילה אחת ששוקלת ארבעה ג'יגה בייט.
מתאים ל
- העמדת דמויות לפי שלד
זיהוי פוזה בעזרת DWPose והעברה מדויקת שלה לתמונה חדשה, בלי לאבד את הסגנון הכללי.
- שמירה על מבנה וקומפוזיציה
שימוש במפות עומק כדי לנעול את מרחקי האובייקטים והעומק בחלל בזמן יצירת סצנות מורכבות.
- שחזור מתווי פנים ומוצר
הפעלת זיהוי קצוות רכים או קאני להלבשת טקסטורות וצבעים חדשים על בסיס שרטוט קיים.
איפה זה נופל
היוצרים הסירו לחלוטין את התמיכה במצב tile שהיה קיים בגרסה הקודמת, כך שאם בניתם עליו לצורכי שדרוג רזולוציה או חידוד פרטים, המודל הזה פשוט לא יעשה את העבודה. בנוסף, האימון התבצע ברזולוציה בסיסית של 512 על 512 פיקסלים, מה שמחייב בדיקה מדוקדקת כשמנסים לייצר פלטים ברזולוציות גבוהות בהרבה.
בכרטיס המודל מודגש שהיציבות תלויה בפרומפטים מפורטים במיוחד, ושליטה חלשה עלולה לפספס את המטרה בלי תיאור טקסטואלי עשיר או שילוב של כמה תנאים יחד. יש גם תלות בכלי עיבוד מקדימים חיצוניים כמו AnylineDetector או DWPose שצריך להתקין ולתחזק בצינור הנתונים.
שאלות
נפוצות
האם המודל יכול לרוץ לבד בלי מודל נוסף?
לא. מדובר ברשת בקרה שמתלבשת על מודל הבסיס FLUX.1-dev. אתם חייבים לטעון את מודל הבסיס בספריית diffusers ורק אז לחבר אליו את שכבת השליטה הזו.
למה התוצאות נראות פחות טובות במצב שלד ותנועה?
היוצרים ממליצים להגדיר עוצמת בקרה של 0.9 אבל לסיים את ההשפעה שלה כבר בשישים וחמישה אחוז מתהליך הדגימה. אם משאירים את הבקרה עד סוף התהליך, המודל מתקשה להפיק תוצאה אסתטית וטבעית.
איך מריצים
המודל פועל מעל ספריית diffusers ומיועד לפעול יחד עם משקולות הבסיס הגדולות של פלוקס. המשקל שלו עצמו הוא ארבעה ג'יגה בייט, אבל החומרה שלכם צריכה להחזיק קודם כל את מודל הבסיס הכבד, מה שדורש בפועל כרטיס מסך ייעודי חזק עם זיכרון וידאו נדיב מאוד. אם הזיכרון לחוץ, קיימת גרסת קוונטיזציה קהילתית בפורמט FP8 שחוסכת משאבים.
לכל מצב שליטה יש הגדרות הרצה מדויקות של עוצמת הבקרה ונקודת הסיום שלה בתהליך הדגימה. למשל, בתנוחות גוף מומלץ להוריד את נקודת הסיום מוקדם יותר, בעוד שבמפות עומק מושכים את הבקרה לאורך רוב שלבי היצירה. אם אתם צריכים תפוקה מהירה בלי לתחזק שרת עם כרטיס יקר במיוחד, עדיף להשתמש בנקודת קצה מנוהלת במקום להרים סביבה עצמאית.
from diffusers import DiffusionPipeline
pipe = DiffusionPipeline.from_pretrained("Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro-2.0")
img = pipe("a photo").images[0]הקבצים
12 קבצים במאגר, 4.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון מוגדר כמותאם אישית מסוג other ולא כרישיון קוד פתוח סטנדרטי. היות שהוא מבוסס ישירות על מודל הבסיס של פלוקס ומיועד לעבוד מולו, חלות עליו ככל הנראה המגבלות של הסכם השימוש המקורי, שדורש בדרך כלל הסדרה מול המפתחים עבור פעילות מסחרית. אל תשלבו אותו במוצר רווחי לפני שבדקתם את תנאי השימוש המלאים של היוצרים ושל מודל הבסיס.