FLUX.1-dev-ControlNet-Union-Pro-2.0-fp8

מה זה

המודל הזה הוא כימות ישיר לפורמט FP8 e4m3fn של מודל המקור מבית Shakker-Labs, בלי אימון מחדש או שינוי משקלים. המטרה שלו היא לאפשר שליטה מבנית ביצירת תמונות מעל מודל הבסיס FLUX.1-dev, תוך חיתוך צריכת הזיכרון בחצי בהשוואה לקובץ BFloat16 מקורי.

במקום להחזיק מודל נפרד לכל סוג קלט, הוא מרכז כמה ערוצי הכוונה בתוך ארכיטקטורה של 6 בלוקים כפולים. אפשר להזין לו קווי מתאר מסוג canny ו־soft edge, מפות עומק, תנוחות גוף מסוג pose, ותמונות בגווני אפור. הוא מיועד לעבוד יחד עם מודלי בקרה נוספים, ומחליף את הצורך בטעינת מספר רשתות ענקיות במקביל.

מתאים ל

• הכוונת תנוחות אדם

  שליטה מלאה בפוזיציה של דמויות באמצעות קלט DWPose תוך שימוש במחצית ממשאבי הזיכרון.

• יצירה על בסיס קווי מתאר

  הפקת תמונות מדויקות מאיורים או שרטוטים בעזרת קווי canny או soft edge.

• שמירה על קומפוזיציה ועומק

  שימוש במפות depth-anything לשמירה על מרחקים וסדר אובייקטים בסצנה המיוצרת.

איפה זה נופל

בגרסה הזו הוסרה לחלוטין התמיכה ב־tile, כך שמי שבונה על שדרוג רזולוציה והשלמת פרטים יצטרך פתרון אחר. המודל אומן ברזולוציה של 512 על 512, ודורש כוונון ידני עדין של פרמטרים כמו עוצמת ההתניה ונקודת סיום ההנחיה לכל מצב בנפרד. בנוסף, חובה להשתמש בפרומפטים מפורטים באנגלית כדי לשמור על יציבות התוצאה.

איך מריצים

ההרצה נעשית דרך ספריית diffusers בפייתון, בטעינה עם torch.float8_e4m3fn מעל מודל הבסיס של פלוקס. נדרשת חומרה עם תמיכה מובנית בחישובי FP8 כדי לקבל שיפור במהירות, בעיקר כרטיסי אנבידיה מהדורות האחרונים, לצד זיכרון GPU שמסוגל להחזיק גם את מודל הבסיס עצמו.

אם אין לכם כרטיס מתאים עם תמיכת חומרה בפורמט הזה, או שאין מספיק VRAM להחזיק את מודל הבסיס המלא, אין טעם להיאבק עם הרצה מקומית. במקרים כאלה עדיף לפנות ל־API חיצוני שמרכז את התשתית.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("ABDALLALSWAITI/FLUX.1-dev-ControlNet-Union-Pro-2.0-fp8")
img = pipe("a photo").images[0]

הקבצים

14 קבצים במאגר, 2.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• diffusion_pytorch_model.safetensors2.1 GB
• images/gray.png904.5 KB
• images/softedge.png733.3 KB
• images/depth.png729.2 KB
• images/pose.png538.2 KB
• images/canny.png438.2 KB
• pipeline_flux_controlnet.py58.1 KB
• controlnet_flux.py23.0 KB
• conds/canny.png20.6 KB
• images/canny (1).png20.6 KB
• README.md9.2 KB
• FLUX_FP8_Demo.ipynb2.2 KB
• .gitattributes1.8 KB
• config.json385 B

הרישיון

הרישיון מוגדר כ־other ונשען על התנאים של מודל המקור והבסיס FLUX.1-dev. הוא לא מוגדר כרישיון קוד פתוח סטנדרטי, ואינו מאפשר שימוש מסחרי חופשי בלי בדיקת תנאי השימוש המקוריים של Shakker Labs ו־Black Forest Labs.

הרישיון המלא בעמוד המודל ↗