GPT
הוספת כלי
F

flux-ip-adapter

קוד פתוח

XLabs-AIother2024-08-20

  • diffusers
  • Stable Diffusion
  • image-generation
  • Flux
  • controlnet

המתאם הזה מוסיף יכולת הנחיה מבוססת תמונה למודל FLUX.1 dev. הוא מתאים למי שרוצה לשמור על סגנון או דמות בלי לאמן מודל שלם מאפס.

  • 945 MBמשקל הקבצים
  • 53,515הורדות בחודש
  • 430לייקים

מה זה

מדובר במשקולות IP-Adapter שפותחו כדי לעבוד ישירות מול מודל הבסיס של FLUX. במקום להסתמך רק על טקסט, אפשר להזין תמונת ייחוס ולקבל יצירה ששומרת על המאפיינים שלה. המודל שוחרר כגרסה ראשונה אחרי אימון של חמישים אלף צעדים ברזולוציית 512 על 512, ועוד עשרים וחמישה אלף צעדים ברזולוציה של 1024 על 1024.

הוא תומך בשתי הרזולוציות האלו ומיועד בעיקר לשילוב בצנרות עבודה של diffusers או ComfyUI. היתרון העיקרי כאן הוא תוספת קטנה של פחות מגיגהבייט של משקולות למודל הקיים, שמביאה יכולת שכבר הייתה מוכרת מגרסאות Stable Diffusion ישנות אל תוך הארכיטקטורה של FLUX.

מתאים ל

  • העברת סגנון מתמונה

    הזרקת קו עיצובי או תאורה מתמונת מקור אל יצירה חדשה ב־FLUX בלי צורך בתיאור טקסטואלי מסורבל.

  • שמירה על מאפייני דמות

    יצירת וריאציות חדשות של אותה דמות על בסיס תמונת קלט בתוך צנרת ComfyUI קיימת.

  • עבודה ברזולוציה מעורבת

    שילוב בהפקות שנעות בין 512 ל־1024 פיקסלים, שבהן המודל עבר אופטימיזציה ישירה.

איפה זה נופל

המתאם מוגדר על ידי המפתחים שלו כגרסת בטא. הם מציינים מראש שאין ערובה לתוצאה טובה בניסיון הראשון, ולעיתים קרובות תצטרכו לייצר כמה פעמים עד שתקבלו פלט שמיש. כהמלצה לשיפור במקרה של פלט גרוע, הם מציעים לכוונן את הפרמטר true_gs לערך 2.

אותה משפחה

flux-ip-adapter יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

flux-ip-adapter-v222,213

שאלות
נפוצות

האם המתאם הזה כולל בתוכו את מודל FLUX המלא?

לא. מדובר בקובץ משקולות של 945 מגהבייט שמתלבש על מודל הבסיס FLUX.1 dev. בנוסף, חובה להוריד גם את מודל הראייה CLIP Large של OpenAI כדי שהוא יעבוד.

התוצאות יוצאות מעוותות או לא דומות לתמונת המקור, מה לעשות?

המפתחים מצהירים שמדובר בבטא שדורשת כמה ניסיונות. הטיפ היחיד שהם מספקים בכרטיס לשיפור איכות הפלט הוא להגדיר את ערך true_gs ל־2.

אפשר להשתמש במודל הזה בשירות בתשלום?

לא. המשקולות מוגנות ברישיון הלא-מסחרי של FLUX.1 dev, ולכן השימוש מותר רק למחקר ולצרכים אישיים.

איך מריצים

להרצה יש שני נתיבים, קוד פייתון ישיר דרך הסקריפט הרשמי של הפרויקט, או התקנה של צמתים ייעודיים בתוך ComfyUI. בשביל להרים את זה צריך להוריד בנפרד גם מודל ראייה מסוג OpenAI ViT CLIP large ולשים אותו בתיקיית המודלים המתאימה, לצד משקולות המתאם עצמו.

המשקולות עצמן שוקלות 945 מגהבייט, אבל הן רצות על גבי מודל הבסיס הכבד של FLUX dev. אם החומרה שלכם לא סוחבת את מודל הבסיס במילא, המתאם הזה לבדו לא יעזור.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("XLabs-AI/flux-ip-adapter")
img = pipe("a photo").images[0]

הקבצים

12 קבצים במאגר, 945 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר כ־other, אך בפועל המשקולות כפופות לתנאי הרישיון הלא-מסחרי של FLUX.1 dev. המשמעות ברורה, אי אפשר לשלב את המתאם הזה במוצר מסחרי או לגבות עליו תשלום ממשתמשים.

הרישיון המלא בעמוד המודל ↗