FLUX.1-dev-Controlnet-Union

מה זה

מדובר במודל שמביא שליטת תמונה מרובה לקובץ אחד, מעל בסיס ה־dev של פלאקס. במקום להחזיק בזיכרון קובץ ייעודי לקווי מתאר, קובץ נפרד למפות עומק ועוד אחד לשלדי תנוחה, הוא מרכז כמה מצבים ביחד. יש פה תמיכה בשבעה מצבי בקרה שונים שכוללים קאני, טייל, עומק, טשטוש, תנוחה, גרסת איכות נמוכה וגווני אפור.

המפתחים עצמם מודים שמדובר בגרסת בטא ראשונית שעדיין לא אומנה עד הסוף. בבדיקות שלהם רוב המצבים כמו תנוחה, קאני ועומק מוגדרים ברמת תאימות גבוהה, אבל מצב גווני האפור מסומן כבעל תאימות נמוכה מאוד, כך שאי אפשר לצפות ממנו לתוצאה יציבה.

מתאים ל

• שליטה מרוכבת בתמונה

  משלבים יחד מפת עומק ושלד גוף באותה קריאה בלי לטעון שני קבצי ענק נפרדים לכרטיס המסך.

• הפקת תמונות לפי קווי מתאר

  מצב קאני במודל מסומן באיכות גבוהה ומאפשר שמירה מדויקת על מבנה האובייקט המקורי.

• עבודה עם תנוחות גוף

  שליטה במיקום הדמויות באמצעות שלד פוז, כל עוד אין צורך ברמת דיוק קיצונית של מודל ייעודי.

איפה זה נופל

המפתחים כותבים בפירוש שניתקל בתוצאות גרועות, ומזהירים שאפילו גרסה מאומנת לגמרי של מודל מאוחד לא תמיד מגיעה לרמה של מודל ייעודי כמו פוז בלבד. בנוסף, מצב גווני אפור לא באמת עובד ומסומן כבעל איכות נמוכה. אם המוצר שלכם תלוי בדיוק כירורגי של תנוחה או צבע, המודל הזה כרגע מסוכן מדי לשימוש בייצור.

איך מריצים

המודל שוקל 6.2 גיגה ומכיל 3.3 מיליארד פרמטרים, אבל זה רק התוסף. כדי להפעיל אותו צריך לטעון במקביל גם את מודל הבסיס של פלאקס, כך שכרטיס מסך ביתי סטנדרטי ייחנק כאן מהר מאוד. צריך מעבד גרפי חזק עם זיכרון וידאו רחב מאוד כדי להחזיק את שניהם יחד בספריית diffusers.

אם אתם לא מחזיקים שרת ייעודי עם כרטיס מתאים, סביר להניח שעדיף לפנות ל־API חיצוני או לחכות לגרסאות מכווצות. מי שבוחר להריץ לבד צריך להתקין את diffusers ישירות מקוד המקור כדי לקבל תמיכה מלאה בריבוי בקרות.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("InstantX/FLUX.1-dev-Controlnet-Union")
img = pipe("a photo").images[0]

הקבצים

20 קבצים במאגר, 6.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• diffusion_pytorch_model.safetensors6.6 GB
• images/image_union.png5.6 MB
• images/images_flux_controlnet_union.drawio2.2 MB
• images/image_demo_canny.jpg384.7 KB
• images/image_demo_lq.jpg260.0 KB
• images/image_demo_tile.jpg258.9 KB
• images/image_demo_blur.jpg233.0 KB
• images/image_demo_gray.jpg231.1 KB
• images/canny.jpg196.4 KB
• images/image_demo_depth.jpg138.7 KB
• images/image_demo_pose.jpg119.5 KB
• images/gray.jpg117.6 KB
• images/lq.jpg106.5 KB
• images/tile.jpg104.9 KB
• images/blur.jpg69.8 KB
• images/pose.jpg22.0 KB
• images/depth.jpg18.1 KB
• README.md4.9 KB
• .gitattributes1.7 KB
• config.json422 B

הרישיון

הרישיון המוגדר הוא other, מה שאומר שאין כאן רישיון קוד פתוח סטנדרטי. המודל יושב ישירות על פלאקס דב שמגיע עם מגבלות מסחריות משלו. מי שמתכנן להכניס אותו לשירות בתשלום חייב לבדוק את תנאי השימוש המדויקים של גרסת הבסיס לפני שהוא משחרר פיצ'ר ללקוחות.

הרישיון המלא בעמוד המודל ↗