FLUX.1-canny-dev
רץ בדפדפןblack-forest-labsmit2024-11-25
הכלי מייצר תמונות חדשות על בסיס קווי מתאר של תמונה שאתם מעלים וטקסט חופשי. הוא מתאים למי שרוצה לשלוט במבנה המדויק של הפלט במקום לסמוך רק על תיאור מילולי.
- —הורדות בחודש
- 82לייקים
מה זה
אתם מעלים תמונת מקור, והקוד מפעיל עליה מזהה קצוות של Canny כדי לחלץ את קווי המתאר שלה. לצד התמונה מקלידים תיאור טקסטואלי של מה שרוצים לראות בפועל, והמודל מייצר תמונה חדשה שנשענת על אותם קווים בדיוק.
מאחורי הקלעים רץ FluxControlPipeline של diffusers יחד עם המודל black-forest-labs/FLUX.1-Canny-dev בפורמט bfloat16, כשהוא נשען על מודל הבסיס FLUX.1-dev. ברירת המחדל מפיקה תמונה ברזולוציה של 1024 על 1024 פיקסלים, עם 28 צעדי חישוב וערך guidance של 3.5.
מתאים ל
- החלפת סגנון לתמונה קיימת
שומרים על הקומפוזיציה והמבנה המקוריים ומלבישים עליהם סגנון ציור, חומרים או תאורה אחרים לגמרי.
- הפיכת סקיצה להדמיה ריאליסטית
מעלים איור ידני או שרטוט פשוט והופכים אותו לתמונה מפורטת לפי הנחיות הטקסט.
- דיוק תנוחות בצילום
משתמשים בצללית או בתנוחה של אדם מתצלום אחד כדי לייצר דמות שונה לחלוטין באותה עמידה.
איפה זה נופל
הממשק לא מאפשר לכוונן את ספי הזיהוי של גלאי ה־Canny עצמו, אלא רק את הפרמטרים של המודל שמייצר את התמונה. אם תמונת המקור שלכם מכילה פרטים קטנים או רקע עמוס מדי, קווי המתאר עלולים לצאת רועשים בלי אפשרות לנקות אותם ישירות במסך.
שאלות
נפוצות
האם השימוש באפליקציה בדפדפן עולה כסף?
לא, הדמו פתוח לגישה ישירה בדפדפן ללא תשלום. כל עוד הוא מופעל על חומרת ברירת המחדל שלו, אין דרישה למנוי או תשלום על זמן חישוב.
מה קורה לתמונות שאני מעלה לכאן?
התמונות נשלחות לשרת שמריץ את מופע ה־Gradio לצורך העיבוד וחילוץ הקצוות. אין פירוט בקוד על שמירה ארוכת טווח של הקבצים, אך מכיוון שמדובר בהדגמה פומבית בענן לא כדאי להעלות חומר רגיש.
האם אפשר להריץ את זה על המחשב שלי?
כן, הקוד משתמש בספריית diffusers הסטנדרטית ובמשקלים הזמינים להורדה. בשביל זה תצטרכו כרטיס מסך חזק שמסוגל להחזיק את מודלי FLUX בזיכרון, באופן דומה לחומרת ה־A10G שמוגדרת במרחב.
במה הדמו הזה שונה משימוש במודל עצמו בקוד?
הוא פשוט עוטף את צינור העבודה של Diffusers בממשק גרפי נוח. הממשק חוסך כתיבת סקריפט וסביבת פייתון, אבל מקבע חלק מהשלבים כמו הפעלת ה־Canny Detector בלי שליטה עדינה ברגישות הזיהוי.
איך משתמשים
מעלים תמונה לתיבת הבקרה, כותבים הנחיה ולוחצים על Run. תחת ההגדרות המתקדמות אפשר לשנות את הגובה והרוחב, לשלוט ב־seed או לקבוע את מספר הצעדים ועוצמת ה־guidance.
הקוד רץ על חומרת zero-a10g של Hugging Face Spaces באמצעות מודול spaces, כך שההקצאה של המעבד הגרפי דינמית. לא צריך להירשם כדי להתנסות, אבל בגלל שהמשאבים משותפים עלולים להיתקל בתור קצר לפני שההרצה מתחילה בפועל.
הרישיון
האפליקציה עצמה מסומנת תחת רישיון MIT פתוח ומתירני. עם זאת, היא טוענת את מודל FLUX.1-Canny-dev ומודל FLUX.1-dev, שרישיונות השימוש המסחרי שלהם עשויים להיות נפרדים ומוגבלים יותר, ולכן יש לבדוק את תנאי המודלים הללו לפני שימוש בתוצרים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש