flux-ip-adapter-v2

מה זה

מדובר במתאם שנועד להנחות יצירת תמונה באמצעות תמונה אחרת במקום להסתמך רק על טקסט באנגלית. הוא נבנה כתוסף עבור מודל הבסיס FLUX.1 dev של חברת Black Forest Labs, ושוקל כגיגה בודד המחולק בין מספר קבצים בספריית diffusers.

הצוות אימן אותו בשני שלבים מוגדרים. השלב הראשון כלל 150 אלף צעדים ברזולוציה בסיסית של 512 על 512 פיקסלים, והשלב השני הוסיף עוד 350 אלף צעדים ברזולוציה של 1024 על 1024 תוך שמירה על יחס התמונה המקורי. גרסה זו כוללת התאמה ישירה לממשקי ComfyUI באמצעות צמתים ייעודיים, לצד הרצה רגילה בקוד פייתון דרך המאגר הרשמי של היוצרים.

המתאם לא מחליף את מודל הדיפוזיה הענק עצמו אלא מתלבש עליו ומכוון את התוצאה הסופית לפי קלט הוויזואליה שסיפקתם. זה חוסך את הצורך לנסות לתאר במילים מדויקות סגנונות מורכבים, ומאפשר לקחת רפרנס קיים ולהשליך את המאפיינים שלו אל תוך תהליך היצירה של פלוקס.

מתאים ל

• העברת סגנון מתמונה

  המודל מאפשר לקחת תמונת רפרנס ולהחיל את המראה והסגנון שלה ישירות לתוך פלוקס.

• עבודה בתזרימי ComfyUI

  הגרסה הזו מתחברת ישירות לצמתים ייעודיים בסביבת העבודה הפופולרית.

• שליטה מונחית תמונה

  הוא מתאים למצבים שבהם הנחיות טקסט באנגלית לא מצליחות לתפוס את הפרטים המדויקים.

איפה זה נופל

היוצרים מבהירים שהמתאם נמצא עדיין בגרסת בטא ולא מתחייב לתוצאות טובות בניסיון ראשון. לעיתים קרובות נדרשים כמה ניסיונות יצירה וכוונון ידני של עוצמת המשקל כדי להגיע לפלט שמיש ולא מעוות.

מעבר לכך, הוא דורש מודל CLIP נוסף כדי לקרוא את התמונות, מה שמוסיף עוד נקודת שבר בשרשרת ההרצה שלכם. ללא בדיקה יסודית של התנהגות המשקלים, מסוכן לשלב אותו באוטומציה עיוורת.

אותה משפחה

flux-ip-adapter יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להשתמש בו צריך להריץ קודם כל את מודל הבסיס הכבד FLUX.1 dev, מה שמחייב כרטיס מסך חזק מאוד עם נפח זיכרון משמעותי לתהליכי דיפוזיה. המתאם עצמו מוסיף עוד כגיגה בייט של משקלים, אך עיקר העומס מגיע מהרצת פלוקס ומודל הראייה הנלווה.

ההטמעה דורשת הורדה של מודל CLIP נפרד של OpenAI, התקנת צמתים מותאמים אישית אם עובדים בתוך ComfyUI, או הרצה דרך הסקריפט main.py שבמאגר x-flux. אם אין לכם חומרה מקומית שמסוגלת לסחוב את פלוקס, עדיף להשתמש בתשתית ענן או שירות חיצוני במקום להשקיע ברכישת כרטיסי מסך יקרים.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("XLabs-AI/flux-ip-adapter-v2")
img = pipe("a photo").images[0]

הקבצים

13 קבצים במאגר, 1009 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• ip_adapter.safetensors1.1 GB
• assets/ip_adapter_3.jpg161.7 KB
• assets/ip_adapter_1.jpg143.2 KB
• assets/ip_adapter_4.jpg92.9 KB
• assets/ip_adapter_5.jpg85.3 KB
• assets/ip_adapter_6.jpg76.3 KB
• assets/mona_workflow.jpg71.2 KB
• assets/ip_adapter_0.jpg54.6 KB
• assets/ip_adapter_2.jpg50.9 KB
• assets/banner-dark.png39.1 KB
• ip_adapter_workflow.json15.5 KB
• README.md3.3 KB
• .gitattributes1.5 KB

הרישיון

למרות הסימון הטכני באתר כרישיון אפאצ'י, המפתחים מבהירים בגוף הכרטיס כי המשקלים כפופים לרישיון הלא מסחרי של FLUX.1 dev. המשמעות היא שאסור להשתמש במודל הזה בתוך מוצר מסחרי, שירות בתשלום או כל פעילות עסקית מניבה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗