Flex.2-preview

מה זה

הפיתוח הזה מגיע משרשרת של מודלים פתוחים שהתחילה בגרסאות פתוחות של פלאקס, והוא שונה מרוב המודלים בגודל הזה בכך שהוא מאחד יכולות שבדרך כלל דורשות תוספים נפרדים. במקום להעמיס ControlNet מעל מודל קיים, שכבת השליטה הוטמעה כאן באימון עצמו. המודל מקבל ישירות קווי מתאר, תנוחות גוף ומפות עומק, יחד עם תמיכה מובנית בשינוי ומחיקת אזורים בתמונה.

הוא עובד עם מרחב לטנטי של שישה עשר ערוצים שנארז לשישים וארבעה, ומקבל קלט של עד חמש מאות ושנים עשר טוקנים. שילוב הדרכת ההטמעה מאפשר לו לייצר תמונות במהירות כפולה בהשוואה לגרסאות קודמות בסדרה, והוא מסוגל לפעול גם ביצירת תמונה רגילה מטקסט בלבד כשפשוט מאפסים את ערוצי הבקרה.

מתאים ל

• אימון LoRA מותאם

  מאפשר לאמן שכבות שליטה חדשות על גבי מודל שמבין מראש קלט של תנוחה, קווי מתאר ועומק.

• עריכת תמונות מונחית

  שילוב האינפיינטינג וערוצי הבקרה בבסיס חוסך טעינה של רשתות עזר כבדות בתוך צינור העבודה.

• פיתוח כלי יצירה

  רישיון אפאצ'י מלא מאפשר לבנות שירותים מסחריים סביבו בלי חשש מתביעות או מגבלות שימוש.

איפה זה נופל

הגרסה הנוכחית מוגדרת כתצוגה מקדימה וניסיונית, והיוצר מצהיר בגלוי שהאימון האגרסיבי פגע ביכולות הבסיס. המודל מתקשה ברינדור של אנטומיה אנושית, כותב טקסטים בצורה עילגת ומנגנון האינפיינטינג עדיין דורש עבודה. מי שבונה על פלט פוטו־ריאליסטי נקי ומדויק ישירות מהקופסה בלי תיקונים ידניים כנראה יתאכזב, ולכן כדאי לבדוק אותו היטב על תרחישי קצה לפני שמשלבים אותו בזרימת עבודה.

איך מריצים

בשביל להריץ אותו דרך Diffusers או ComfyUI תצטרכו להוריד קבצים ששוקלים כמעט ארבעים גיגה בייט. לכרטיסי מסך ביתיים עם פחות מעשרים וארבעה גיגה זיכרון מומלץ להשתמש בספריית torchao כדי להוריד את צריכת הזיכרון, אחרת תקבלו שגיאות חריגת זיכרון מיד עם הטעינה.

ב־ComfyUI נדרש רכיב ייעודי בשם Flex2 Conditioner יחד עם מודלים עזר לחילוץ תנוחות ועומק, בעוד שהקודדים של הטקסט וה־VAE נשענים על הגדרות פלאקס מוכרות. אם אין לכם חומרה חזקה בענן או כרטיס מקומי רציני, אין היגיון לנסות להריץ אותו לבד כי זמני הפריקה והריצה יהיו איטיים מדי.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("ostris/Flex.2-preview")
img = pipe("a photo").images[0]

הקבצים

27 קבצים במאגר, 39.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Flex.2-preview.safetensors16.3 GB
• transformer/diffusion_pytorch_model-00001-of-00002.safetensors9.9 GB
• transformer/diffusion_pytorch_model-00002-of-00002.safetensors6.4 GB
• text_encoder_2/model-00001-of-00002.safetensors5.0 GB
• text_encoder_2/model-00002-of-00002.safetensors4.5 GB
• text_encoder/model.safetensors246.1 MB
• vae/diffusion_pytorch_model.safetensors167.7 MB
• tokenizer_2/tokenizer.json2.4 MB
• tokenizer/vocab.json1.1 MB
• tokenizer_2/spiece.model791.7 KB
• tokenizer/merges.txt524.6 KB
• transformer/diffusion_pytorch_model.safetensors.index.json84.8 KB
• README.md29.2 KB
• pipeline.py21.0 KB
• tokenizer_2/tokenizer_config.json20.8 KB
• text_encoder_2/model.safetensors.index.json19.9 KB
• LICENSE.txt11.5 KB
• tokenizer_2/special_tokens_map.json2.5 KB
• .gitattributes1.5 KB
• vae/config.json821 B
• text_encoder_2/config.json800 B
• tokenizer/tokenizer_config.json735 B
• text_encoder/config.json617 B
• tokenizer/special_tokens_map.json588 B
• model_index.json579 B
• transformer/config.json490 B
• scheduler/scheduler_config.json455 B

הרישיון

המודל משוחרר תחת רישיון Apache 2.0 מלא. זה אומר שמותר להשתמש בו לצרכים מסחריים, לשנות את המשקלים, לאמן עליו LoRA ולשלב אותו במוצרים שלכם בלי לשלם תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים ותנאי הרישיון המקוריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗