Flux.1-dev-Controlnet-Depth
קוד פתוחjasperaiother2024-09-17
המודל הזה מביא שליטה מבוססת עומק לתמונות שנוצרות עם פלאקס. הוא שומר על המבנה המרחבי והקומפוזיציה המקורית בדיוק גבוה.
- 1.8Bפרמטרים
- 3.3 GBמשקל הקבצים
- 1,147הורדות בחודש
- 120לייקים
מה זה
מדובר במתאם קונטרול-נט שמיועד לעבודה ישירה מעל מודל הבסיס פלאקס-דב. המטרה שלו פשוטה: אתם מזינים מפת עומק של תמונה קיימת, והוא מייצר תמונה חדשה לגמרי ששומרת על הגאומטריה והמרחקים של האובייקטים המקוריים בחלל, בלי להמציא מחדש את הזוויות או הפרופורציות.
צוות המחקר של ג'ספר אימן אותו על שילוב של מפות עומק, שחלקן הגיעו מהמודל של קליפדרופ וחלקן ממודלי קוד פתוח מוכרים כמו מידאס ולרס. עם קרוב ל־1.8 מיליארד פרמטרים, זה מתאם כבד יחסית שדורש משאבים משלו, אבל הוא נשען על איכות הרינדור והבנת הטקסט של פלאקס, מה שמאפשר שינוי סגנונות קיצוני תוך שמירה על העמדת הסצנה.
מתאים ל
- החלפת סגנון לפי סצנה
יצירת גרסה חדשה לגמרי של צילום קיים תוך שמירה מלאה על הנפח והעמדת האובייקטים בחדר.
- הלבשת חללים והדמיות
שינוי טקסטורות וריהוט בחלל אדריכלי על בסיס מפת עומק של תלת-ממד קיים.
- עיבוד תמונות פורטרט
שינוי הרקע והתאורה של דמות בלי לפגוע בתווי הפנים או במרחק שלה מהמצלמה.
איפה זה נופל
דף המודל דל במידע טכני מהותי ולא מציג מדדי ביצועים או השוואות כמותיות. איכות הפלט תלויה לחלוטין ברמת הדיוק של מפת העומק שחילצתם מראש, כך שאם מידאס או לרס מפספסים קצוות של אובייקטים, התוצאה תיראה מעוותת. בנוסף, הוא כבד מאוד לחישוב ומאט משמעותית את זמן היצירה ביחס להרצה נקייה של מודל הבסיס.
שאלות
נפוצות
האם המודל הזה כולל בתוכו את פלאקס המלא?
לא, מדובר רק במשקולות של תוסף השליטה ששוקלות 3.3 ג'יגה-בייט. כדי לייצר תמונה חייבים לטעון ברקע גם את מודל הבסיס Flux.1-dev, מה שמגדיל דרמטית את דרישות הזיכרון.
איך מייצרים את מפת העומק שמזינים למודל?
אפשר לחלץ אותה מתמונה קיימת באמצעות ספריות קוד פתוח כמו controlnet_aux עם גלאי מידאס, או להשתמש במפות עומק שיוצאות מתוכנות תלת-ממד כמו בלנדר.
איך מריצים
המודל רץ ישירות דרך ספריית diffusers בפייתון, כשלפני הריצה צריך להכין את מפת העומק, למשל באמצעות MidasDetector מחבילת controlnet_aux. משקל הקבצים של המתאם לבדו עומד על 3.3 ג'יגה-בייט, אבל הוא לא עובד לבד. צריך לטעון אותו יחד עם מודל הבסיס Flux.1-dev, שהוא ענק בפני עצמו.
בפועל אתם צריכים כרטיס מסך חזק מאוד עם שפע זיכרון וידאו כדי להחזיק את שניהם יחד בזיכרון, בטח אם רוצים תוצאות ברזולוציה סבירה. למי שאין שרת ייעודי או כרטיס עם לפחות 24 ג'יגה זיכרון, עדיף להריץ על מכונה שכורה לפי שעה או לבדוק נקודות קצה של ספקי ענן.
from diffusers import DiffusionPipeline
pipe = DiffusionPipeline.from_pretrained("jasperai/Flux.1-dev-Controlnet-Depth")
img = pipe("a photo").images[0]הקבצים
7 קבצים במאגר, 3.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון מוגדר תחת תנאי הרישיון של Flux.1-dev ולא כקוד פתוח רגיל. המשמעות היא שהשימוש מוגבל למחקר ולצרכים לא מסחריים. אם אתם מתכננים לשלב אותו במוצר שמייצר הכנסה או שירות בתשלום, אי אפשר להשתמש בו ישירות בלי להסדיר רישוי מתאים מול בעלי הזכויות של פלאקס.