GPT
הוספת כלי
F

FLUX.1-dev-Controlnet-Inpainting-Alpha

קוד פתוח

alimama-creativeother2024-09-06

  • diffusers
  • safetensors
  • Text-to-Image
  • ControlNet
  • Inpainting

מתאם קונטרול-נט שמביא יכולות עריכת תמונה מבוססת מסכה ישירות למודל פלוקס. הפתרון נועד למי שרוצה לשנות אזורים ספציפיים בתמונה קיימת עם איכות היצירה של פלוקס.

  • 2.1Bפרמטרים
  • 4.0 GBמשקל הקבצים
  • 1,099הורדות בחודש
  • 251לייקים

מה זה

מדובר במודל בקרה של 2.1 מיליארד פרמטרים שפותח על ידי צוות עלימאמא מבית עליבאבא, ומיועד להלבשה על גבי פלוקס-דב. הוא מאומן על 12 מיליון תמונות ממאגר לאיון וממקורות פנימיים, ומאפשר להחליף אלמנטים או להשלים אזורים מחוקים בעזרת הנחיית טקסט מדויקת.

בהשוואות שהמפתחים מציגים מול מודל האינפיינטינג של סטייבל דיפיוז'ן אקס-אל, החיבור עם פלוקס מפיק תוצאות חדות יותר עם פחות עיוותים ומיזוג טבעי יותר ברקע. עם זאת, הוא ספציפי מאוד לאופן שבו הוא אומן, והצוות עצמו מציין שזו רק גרסת בדיקה ראשונית שמכוונת לרזולוציה מסוימת מאוד.

מתאים ל

  • עריכת תמונות ממוקדת

    החלפת פריטים או בגדים בתוך תמונה לפי מסכה מוגדרת ובלי לפגוע ברקע מסביב.

  • הוספת דמויות ואובייקטים

    שתילת אלמנטים חדשים לתוך סצנה קיימת תוך שמירה על הסגנון והתאורה המקוריים.

  • ניסויי מחקר בפלוקס

    בדיקת התנהגות מנגנוני בקרה חדשים על תשתית פלוקס בתנאי מעבדה.

איפה זה נופל

המגבלה הכי קריטית היא הרזולוציה. המודל אומן בגודל של 768 על 768 פיקסלים, ובכרטיס נכתב במפורש שכל גודל אחר מניב תוצאות פחות טובות. בנוסף, זו גרסת אלפא ראשונית, והמפתחים כבר הוציאו גרסת בטא שמחליפה אותה. נדרש כוונון רגיש של עוצמת הבקרה בין 0.9 ל־0.95 כדי שהתוצאה לא תתפרק.

שאלות
נפוצות

כדאי להוריד את הגרסה הזו או את הבטא?

עדיף לעבור ישר לבטא. המפתחים הגדירו את המודל הזה כאלפא ראשונית בתהליך האימון, והעלו גרסת בטא עם שיפורים ביכולות העריכה.

האם אפשר לערוך תמונות ברזולוציה גבוהה מ־768 פיקסלים?

התוצאות יהיו פחות טובות. המודל אומן על 768 על 768, וכל חריגה מזה פוגעת באיכות המיזוג והדיוק של השינויים.

איך מריצים

ההרצה המקומית דורשת משאבים כבדים מאוד. בשימוש בקומפי-יו-איי עם מודל שפה מקוצץ ופלוקס בגרסת שמונה ביט ל־28 צעדים, צריכת זיכרון הווידאו מגיעה ל־27 גיגה-בייט. זמן היצירה עומד על 15 שניות בלי הנחיית טקסט מוגברת, או 27 שניות עם ערך של 3.5. אפשר לשלב לורה ייעודית כדי להאיץ את התהליך.

המפתחים סיפקו גם קוד הרצה בספריית דיפיוזרס גרסה 0.30.2 דרך מאגר גיטהאב. מי שאין לו כרטיס מקצועי עם 32 גיגה זיכרון וידאו ומעלה פשוט לא יוכל להריץ אותו מקומית, ויצטרך להישען על ספקים מרוחקים או לחכות לאופטימיזציות נוספות.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("alimama-creative/FLUX.1-dev-Controlnet-Inpainting-Alpha")
img = pipe("a photo").images[0]

הקבצים

43 קבצים במאגר, 4.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המשקלים כפופים לרישיון הלא-מסחרי של פלוקס-דב. אי אפשר לשלב את המודל במוצר בתשלום, למכור שירותים סביבו או להשתמש בו לצרכים עסקיים בלי הסדרה נפרדת מול יוצרי פלוקס.

הרישיון המלא בעמוד המודל ↗