FLUX.1-merged
קוד פתוחsayakpaulother2024-08-05
מיזוג משקלים שמנסה לחבר את איכות התמונה של גרסת dev עם המהירות של schnell בארבעה צעדים. הוא נותן קיצור דרך למי שרוצה תמונות מהירות בלי ליפול באיכות של מודל מקוצץ.
- 12Bפרמטרים
- 31.4 GBמשקל הקבצים
- 232הורדות בחודש
- 205לייקים
מה זה
מדובר בשילוב משקלים ישיר בין שני המודלים המוכרים של פלוקס, dev ו־schnell, במטרה להפיק תמונות סבירות במיזוג פרמטרים אחד. הרעיון כאן פשוט: גרסת dev הרגילה דורשת לרוב עשרות צעדים כדי לייצר תמונה מפורטת, ואילו schnell תוכנן מראש לעבוד בארבעה צעדים בלבד. המיזוג הזה מנסה לשמר את היכולות של dev אבל בריצה קצרה של ארבעה צעדי הסקה בלבד.
בכרטיס המודל מוצגת השוואה ויזואלית בארבעה צעדים, שמראה שהשילוב מצליח לייצר תמונה קוהרנטית איפה שגרסת dev לבדה נכשלת לחלוטין ומייצרת מריחה לא ברורה. עם זאת, הוא לא מציג מדדי ביצועים מספריים או מבחני השוואה רחבים, אלא בעיקר הוכחת היתכנות למיזוג יעיל בזיכרון של שני המודלים האלה דרך diffusers.
מתאים ל
- יצירת תמונות מהירה מקומית
מאפשר לבדוק פרומפטים בארבעה צעדים בלבד בלי לחכות לריצות ארוכות, כל עוד יש חומרה מתאימה.
- בדיקות אוטומציה ופיתוח
מתאים לצינורות עיבוד שדורשים תמונות סבירות במהירות גבוהה לבדיקת ממשקים ותהליכי עבודה.
- מחקר מיזוג מודלים
משמש בסיס להבנת התנהגות שילוב משקלים בין ארכיטקטורת זיקוק למודל בסיס מלא.
איפה זה נופל
המודל תומך באנגלית בלבד ולא נבדק על שפות אחרות, כך שהזנת פרומפטים בעברית צפויה לתת תוצאות לא צפויות. מעבר לזה, מדובר בניסוי מיזוג קהילתי שלא מלווה במדדי בנצ'מרק מסודרים, ויש סיכון ממשי לפגיעה בפרטים קטנים או באחידות הטקסטורות לעומת ריצה מלאה של חמישים צעדים במודל המקורי.
שאלות
נפוצות
האם אפשר להריץ אותו על כרטיס מסך ביתי רגיל?
במשקל קבצים של 31.4 ג'יגה בייט ו־12 מיליארד פרמטרים, כרטיס עם פחות מ־24 ג'יגה זיכרון ייחנק ללא קוונטיזציה. תצטרכו חומרה חזקה מאוד רק כדי לטעון אותו לזיכרון בפורמט bfloat16.
מותר למכור שירות שמבוסס עליו?
לא מומלץ בלי בדיקה משפטית מעמיקה. המיזוג כולל את המשקלים של גרסת dev שאינה חופשית לחלוטין לשימוש מסחרי, כך שהשילוב יורש את המגבלות של המודל המחמיר מביניהם.
איך מריצים
המודל שוקל מעל 31 ג'יגה בייט וכולל קרוב ל־12 מיליארד פרמטרים, כך שכדי להעלות אותו בפורמט bfloat16 דרוש כרטיס מסך חזק מאוד עם לפחות 24 ג'יגה זיכרון וידאו, ולעיתים קרובות יותר מזה אם לא משתמשים באופטימיזציות פנימיות.
הקריאה מתבצעת דרך ספריית diffusers באמצעות FluxPipeline רגיל. אם אין לכם חומרה ייעודית בענן או כרטיס תעשייתי מקומי, להחזיק משקל כזה בזיכרון רק בשביל ארבעה צעדים זה עסק יקר, ולרוב עדיף לפנות ל־API מנוהל שמריץ את המודלים המקוריים.
from diffusers import DiffusionPipeline
pipe = DiffusionPipeline.from_pretrained("sayakpaul/FLUX.1-merged")
img = pipe("a photo").images[0]הקבצים
28 קבצים במאגר, 31.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
- transformer/diffusion_pytorch_model-00001-of-00003.safetensors10.0 GB
- transformer/diffusion_pytorch_model-00002-of-00003.safetensors9.9 GB
- text_encoder_2/model-00001-of-00002.safetensors5.0 GB
- text_encoder_2/model-00002-of-00002.safetensors4.5 GB
- transformer/diffusion_pytorch_model-00003-of-00003.safetensors3.9 GB
- text_encoder/model.safetensors246.1 MB
- vae/diffusion_pytorch_model.safetensors167.7 MB
- tokenizer_2/tokenizer.json2.4 MB
- tokenizer/vocab.json1.1 MB
- assets/flux.png958.0 KB
- assets/merged_flux.png905.3 KB
- tokenizer_2/spiece.model791.7 KB
- assets/flux_4.png779.4 KB
- tokenizer/merges.txt524.6 KB
- transformer/diffusion_pytorch_model.safetensors.index.json121.3 KB
- tokenizer_2/tokenizer_config.json20.8 KB
- text_encoder_2/model.safetensors.index.json19.9 KB
- README.md3.6 KB
- tokenizer_2/special_tokens_map.json2.5 KB
- .gitattributes1.5 KB
- vae/config.json914 B
- text_encoder_2/config.json892 B
- text_encoder/config.json710 B
- tokenizer/tokenizer_config.json705 B
- tokenizer/special_tokens_map.json588 B
- model_index.json535 B
- transformer/config.json416 B
- scheduler/scheduler_config.json273 B
הרישיון
הרישיון מוגדר כ־other, והיוצר מציין במפורש שצריך לבדוק את תנאי הרישיונות של שני המודלים המקוריים לפני שימוש מסחרי. היות שגרסת dev מגיעה עם מגבלות מסחריות מחמירות בעוד schnell חופשי יותר, שימוש במיזוג הזה במוצר מסחרי נמצא באזור אפור ומסוכן משפטית.