Flux.1-Fill-dev

מה זה

מעלים תמונה ובוחרים באחת משתי לשוניות, עריכה פנימית או הרחבה חיצונית. בלשונית הראשונה מסמנים מסיכה על האזור שרוצים לשנות, כותבים תיאור בתיבת הטקסט ומקבלים גרסה חדשה שבה האזור המסומן הוחלף בהתאם. בלשונית השנייה מגדירים בכמה להרחיב את שולי התמונה לכל כיוון, ומקבלים תמונה מורחבת שמשלימה את הסצנה לפי התיאור.

מאחורי הממשק רץ המודל FLUX.1 Fill dev של Black Forest Labs, שהוא מודל מסוג rectified flow transformer עם 12 מיליארד פרמטרים. הקוד טוען את המודל דרך ספריית diffusers בפורמט bfloat16 על גבי כרטיס גרפי ייעודי.

מתאים ל

• החלפת אובייקט בתמונה

  מסמנים פריט מסוים בתוך התמונה, כותבים תיאור חלופי ומקבלים תמונה שבה הפריט הוחלף בהתאם להקשר.

• הרחבת רקע לצדדים

  מגדירים זום החוצה או משיכה של שוליים ספציפיים כדי להפוך תמונה אנכית לרחבה עם המשך הרקע.

• מחיקה ושחזור אזור פגום

  צובעים חלקים לא רצויים או פגומים בקובץ ומורים למודל להשלים שם רקע טבעי שתואם לסביבה.

איפה זה נופל

הבעיה המרכזית כרגע היא שהאפליקציה נמצאת במצב PAUSED, ולכן לא ניתן להריץ בה שום דבר ישירות בדפדפן עד שיוצר המרחב יפעיל אותה מחדש. בנוסף, חובה לספק מסיכה ידנית בעריכה פנימית ואין שום כלי אוטומטי לזיהוי אובייקטים. אין בממשק דוגמאות מובנות לבדיקה מהירה, כך שחייבים להעלות קבצים משלכם כדי לראות תוצאה כלשהי.

איך משתמשים

נכנסים לממשק, בוחרים לשונית, טוענים קובץ ומוסיפים תיאור טקסטואלי. בעריכה פנימית חובה לצייר מסיכה על התמונה לפני השליחה, אחרת המערכת מקפיצה שגיאה. לחיצה על כפתור Submit מפעילה את העיבוד, שמוגדר כברירת מחדל על 20 צעדים עם Guidance scale של 30.0. האפליקציה רצה על חומרת zero-a10g, שמקצה כרטיס מסך A10G לפי דרישה, כך שייתכן זמן המתנה קצר להקצאת החומרה לפני תחילת הריצה.

הרישיון

האפליקציה עצמה מפורסמת תחת רישיון apache-2.0, שמאפשר שימוש חופשי בקוד. עם זאת, המודל שבבסיסה הוא FLUX.1-Fill-dev, ולמודלי dev של החברה יש לרוב תנאי שימוש נפרדים שמגבילים שימוש מסחרי ישיר, לכן חשוב לבדוק את תנאי המודל הספציפיים במאגר המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗