FLUX.1-dev-ControlNet-Union-Pro — הדגמה
קוד פתוחShakker-Labsother2024-08-26
כאן מייצרים תמונות ב־FLUX.1-dev עם שליטה במבנה דרך תמונת ייחוס או מפת שליטה מוכנה. זה מתאים למי שרוצה לדייק תנוחה, קווי מתאר או עומק ולא להסתמך רק על טקסט.
- 3.3Bפרמטרים
- 6.2 GBמשקל הקבצים
- —הורדות בחודש
- 125לייקים
מה זה
אתם מעלים תמונת מקור כדי לחלץ ממנה תנאי כמו תנוחה או עומק, או מעלים ישירות תמונה מעובדת מראש, כותבים הנחיית טקסט ומקבלים תמונה חדשה שנשענת על המבנה הזה. לצד התוצאה הסופית, הממשק מחזיר גם את מפת התנאי שחולצה בפועל, כך שרואים בדיוק על מה האלגוריתם הסתמך.
מאחורי הקלעים רץ שילוב של כמה מודלים כבדים. הבסיס הוא FLUX.1-dev יחד עם מתאם ControlNet Union Pro של Shakker-Labs. לחילוץ התנאים מהתמונות המערכת מפעילה כלים ייעודיים: Depth-Anything-V2-Large למיפוי עומק, וכן מפענחי Openpose ו־Canny לחילוץ שלד גוף וקווים.
מתאים ל
- העתקת תנוחת גוף
חילוץ שלד תנוחה בעזרת Openpose מתמונה קיימת ויצירת דמות חדשה לגמרי באותו מצב בדיוק.
- שמירה על עומק סצנה
שימוש ב־Depth-Anything-V2 כדי להעתיק נפח וקומפוזיציה של חלל לתמונה עם סגנון אחר.
- שליטה מקווי מתאר
טעינת שרטוט או חילוץ קווי Canny כדי לבנות תמונה סופית שנאמנת לקווים המקוריים.
איפה זה נופל
ההדגמה מיועדת לבדיקה של תמונה בודדת ואינה מתאימה לעיבוד של כמויות. אם תמונת הייחוס מורכבת מדי, מחלצי העומק או התנוחה עלולים לפספס פרטים קריטיים ולהוציא פלט מעוות. בנוסף, חומרת שיתוף כמו זו עלולה להיכנס להשהיות או ניתוקים בעומס כבד, כך שלא כדאי לבנות עליה לתהליך עבודה רציף.
שאלות
נפוצות
האם השימוש כאן עולה כסף?
האפליקציה פתוחה בדפדפן על גבי Hugging Face ללא תשלום ישיר. היא רצה על תשתית חומרה שיתופית מסוג zero-a10g, ולכן אין צורך במנוי כדי להתנסות בה.
במה זה שונה מהרצת המודל עצמו?
האפליקציה מחברת מראש את FLUX עם מודל ה־ControlNet וכלים חיצוניים כמו Canny ו־Depth Anything בממשק ויזואלי. במקום להגדיר צינור עיבוד מלא בקוד ולטעון משקלים כבדים, מקבלים סביבה עובדת בדפדפן.
האם אפשר להריץ את זה מקומית על המחשב?
כן, הקוד מבוסס על ספריות Diffusers סטנדרטיות וזמין במאגר. עם זאת, נדרש כרטיס מסך חזק מאוד כדי להחזיק בזיכרון את FLUX.1-dev יחד עם מודלי השליטה והמעבדים.
איך מריצים
בוחרים אם להעלות תמונה לחילוץ או מפת שליטה מוכנה, מקלידים פרומפט, וקובעים את מצב השליטה ועוצמתה. בהגדרות המתקדמות אפשר לשנות את מספר הצעדים בין 1 ל־50, כשברירת המחדל עומדת על 24, ואת ה־Guidance Scale שנע בין 1.0 ל־10.0 עם ברירת מחדל של 3.5. לחיצה על כפתור Submit מפעילה את העיבוד. הריצה מתבצעת על חומרת zero-a10g שמקצה משאבים לפי דרישה, כך שזמן ההמתנה תלוי בעומס הרגעי ברשת.
pip install -U huggingface_hub hf download Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro
הקבצים
22 קבצים במאגר, 6.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
- diffusion_pytorch_model.safetensors6.6 GB
- assets/poster.png2.6 MB
- assets/teaser3.png839.6 KB
- assets/teaser2.png788.6 KB
- assets/teaser1.png685.5 KB
- assets/noise.jpg654.6 KB
- assets/tile.jpg240.2 KB
- assets/gray.jpg137.4 KB
- assets/noise_result.jpg129.8 KB
- assets/blur.jpg129.1 KB
- assets/openpose_result.jpg113.2 KB
- assets/depth_result.jpg99.6 KB
- assets/canny_result.jpg79.9 KB
- assets/canny.jpg79.5 KB
- assets/gray_result.jpg77.9 KB
- assets/tile_result.jpg77.5 KB
- assets/blur_result.jpg72.5 KB
- assets/depth.jpg50.0 KB
- assets/openpose.jpg35.8 KB
- README.md4.3 KB
- .gitattributes1.6 KB
- config.json384 B
הרישיון
הרישיון מוגדר כ־other, כלומר תנאי שימוש מותאמים ולא רישיון קוד פתוח סטנדרטי. מודל הבסיס FLUX.1-dev כולל מגבלות משלו על שימוש מסחרי, ולכן כל מה שנוצר כאן כפוף לתנאים הספציפיים שהיוצרים הגדירו.