FLUX.1-Depth-dev — הדגמה
קוד פתוחblack-forest-labsother2024-11-25
מעלים תמונה וטקסט, ומקבלים תמונה חדשה ששומרת על המבנה והעומק המקוריים. מתאים למי שרוצה לשנות סגנון של סצנה בלי לאבד את הקומפוזיציה.
- 12Bפרמטרים
- 63.2 GBמשקל הקבצים
- —הורדות בחודש
- 94לייקים
מה זה
אתם מעלים תמונת מקור לתיבת הבקרה, כותבים תיאור טקסטואלי של מה שאתם רוצים לראות, ולוחצים על כפתור ההרצה. הממשק מחזיר תמונה מרונדרת חדשה ברזולוציה שנקבעה, כשברירת המחדל עומדת על 1024 על 1024 פיקסלים. יש גם תפריט הגדרות מתקדמות שמאפשר לשנות את ממדי התמונה, להגדיר סיד קבוע או אקראי, ולכוונן את מדדי ההנחיה וכמות הצעדים.
מאחורי הקלעים פועל שילוב של שני מודלים שונים. תחילה, המערכת מריצה את המודל Depth-Anything-Large כדי לחלץ מפת עומק מדויקת מהתמונה שהעליתם. לאחר מכן, מפת העומק הזו מוזנת יחד עם הפרומפט שלכם לתוך מודל FLUX.1-Depth-dev באמצעות FluxControlPipeline, כדי לייצר את הפלט הסופי תוך שמירה על המרחב התלת ממדי של המקור.
מתאים ל
- החלפת סגנון לתלת ממד
הופכים צילום חדר להדמיה מאוירת בלי להזיז אף רהיט מהמקום.
- שינוי חומרים ותאורה
משנים מרקם של אובייקט קיים בעזרת תיאור טקסטואלי בלבד.
- עיבוד מחדש לדמויות
מלבישים דמות מחדש ושומרים בדיוק על אותה זווית גוף ומרחק מהמצלמה.
איפה זה נופל
אם תעלו תמונה עם עומק שטוח מדי או תאורה בעייתית, מחלץ העומק יתקשה לבנות מפה נכונה והתוצאה תתעוות. מעבר לזה, הממשק לא מציג לכם את מפת העומק שנוצרה בפועל, כך שאין דרך לדעת מראש אם הבעיה היא בפרומפט או בזיהוי המרחבי של התמונה.
שאלות
נפוצות
האם השימוש בעמוד עולה כסף?
לא, הממשק פתוח לשימוש חופשי ישירות בדפדפן. החומרה מוקצית אוטומטית לפי דרישה דרך השרת של המרחב. אין צורך לשלם על זמן הריצה של המודל.
מה קורה לתמונות שאני מעלה?
הקבצים מעובדים ישירות בזיכרון של השרת לצורך יצירת התמונה בלבד. הם לא נשמרים בגלריה ציבורית בעמוד. יחד עם זאת, מדובר בשרת ציבורי ולכן לא כדאי להעלות מידע רגיש.
אפשר להריץ את אותו הדבר במחשב האישי?
כן, הקוד משתמש בספריית diffusers הרגילה וטוען מודלים ציבוריים. תצטרכו כרטיס מסך חזק עם זיכרון וידאו משמעותי כדי להחזיק את שני המודלים במקביל. ההתקנה דורשת סביבת פייתון ותמיכה ב־CUDA.
במה הממשק שונה משימוש במודל FLUX הרגיל?
כאן יש שלב מקדים שמנתח את הגאומטריה של התמונה שלכם לפני תהליך היצירה. מודל רגיל מייצר תמונה מאפס רק לפי טקסט, בעוד שכאן הפלט נעול למבנה התלת ממדי של תמונת המקור.
איך מריצים
גוררים תמונה לתיבה, מקלידים פרומפט ולוחצים Run. ברירת המחדל מוגדרת ל־28 צעדי ריצה עם סולם הנחיה של 3.5. השרת רץ על תשתית Zero-A10G עם הקצאת משאבים דינמית, מה שאומר שהכרטיס הגרפי מתעורר לפי דרישה. ייתכן שתמתינו כמה שניות בתור כשיש עומס משתמשים.
pip install -U huggingface_hub hf download black-forest-labs/FLUX.1-Depth-dev
הקבצים
30 קבצים במאגר, 63.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
- flux1-depth-dev.safetensors23.8 GB
- transformer/diffusion_pytorch_model-00001-of-00003.safetensors10.0 GB
- transformer/diffusion_pytorch_model-00002-of-00003.safetensors9.9 GB
- text_encoder_2/model-00002-of-00004.safetensors5.0 GB
- text_encoder_2/model-00001-of-00004.safetensors5.0 GB
- text_encoder_2/model-00003-of-00004.safetensors4.9 GB
- text_encoder_2/model-00004-of-00004.safetensors4.2 GB
- transformer/diffusion_pytorch_model-00003-of-00003.safetensors3.9 GB
- text_encoder/model.safetensors492.3 MB
- vae/diffusion_pytorch_model.safetensors335.3 MB
- ae.safetensors335.3 MB
- tokenizer_2/tokenizer.json2.4 MB
- tokenizer/vocab.json1.1 MB
- tokenizer_2/spiece.model791.7 KB
- tokenizer/merges.txt524.6 KB
- transformer/diffusion_pytorch_model.safetensors.index.json121.3 KB
- tokenizer_2/tokenizer_config.json20.8 KB
- text_encoder_2/model.safetensors.index.json19.9 KB
- LICENSE.md18.6 KB
- README.md4.7 KB
- tokenizer_2/special_tokens_map.json2.5 KB
- .gitattributes1.5 KB
- vae/config.json817 B
- text_encoder_2/config.json781 B
- tokenizer/tokenizer_config.json705 B
- text_encoder/config.json612 B
- model_index.json594 B
- tokenizer/special_tokens_map.json588 B
- transformer/config.json453 B
- scheduler/scheduler_config.json299 B
הרישיון
הקוד של המרחב מפורסם תחת רישיון MIT פתוח ומתירני. עם זאת, המודלים עצמם שנטענים בפנים שייכים למשפחת dev של Black Forest Labs, כך שחלים עליהם תנאי השימוש המקוריים של המפתחים לגבי התוצרים.