Flux.2-Klein-9B-MatchingPose

מה זה

מדובר במתאם LoRA ששוקל 1.2 גיגה בייט ומיועד למודל הבסיס FLUX.2 Klein 9B של חברת Black Forest Labs. במקום לנסות להעביר תנוחה ישירות מתצלום אמיתי, מה שלרוב משבש את תווי הפנים של הדמות החדשה או דורש שרשור מסורבל של כמה רשתות בקרה, המתאם הזה מתוכנן לעבוד עם תמונת רפרנס נקייה של בובת ראווה חסרת פנים. הרפרנס מגדיר את הזוויות והפרופורציות של הגוף, בזמן שהמודל מלביש עליו את הפנים, הסגנון והבגדים שאתם מבקשים.

המתאם הזה נבנה כשלב שני בתהליך עבודה כפול, לצד מתאם משלים בשם Mannequin. השיטה מתבססת על הפיכת תמונה קיימת לבובה נקייה, ואז העברת התנוחה לדמות המבוקשת באמצעות מילת הפעלה ייעודית. התוצאה הסופית שומרת על גווני עור, תאורה ובגדים טבעיים, בלי המראה הנוקשה של רנדר תלת ממדי.

מתאים ל

• עקביות דמות בצילום אופנה

  הלבשת אותה דמות בדיוק על מגוון רחב של תנוחות גוף בלי לאבד את תווי הפנים שלה.

• המחשת תנוחות לקונספט ארט

  העברת זוויות גוף מדויקות מסקיצות תלת ממדיות לדמות מאוירת ומרונדרת מלאה.

• אוטומציה ליצירת תוכן מבוים

  שחזור תנוחות מצילומים קיימים על גבי דמויות שונות באמצעות שרשור ComfyUI קבוע.

איפה זה נופל

המתאם הזה לא עובד טוב עם תמונות רגילות כמקור לתנוחה, כי תווי הפנים של המקור זולגים לתוצאה, ולכן הוא תלוי כמעט לחלוטין ברפרנס של בובת ראווה. הוא מאבד דיוק בתנוחות מורכבות או אקרובטיות, ומתאים רק לתמונות של אדם יחיד ולא לסצנות מרובות דמויות. בנוסף, חוסר התאמה בין מבנה הגוף של הבובה לדמות יגרום לפרופורציות להתעוות לכיוון הבובה, וידיים ופנים עדיין דורשים לעיתים קרובות תיקון ברזולוציה גבוהה.

איך מריצים

כדי להריץ אותו צריך לטעון את מודל הבסיס FLUX.2 Klein 9B דרך ספריית diffusers בפייתון או בתוך ComfyUI, ולהלביש עליו את משקולות ה־LoRA בעוצמה שבין 0.9 ל־1.1. מודל בסיס בגודל תשעה מיליארד פרמטרים דורש כרטיס מסך חזק עם זיכרון VRAM משמעותי, במיוחד בריצה עם bfloat16, כך שחומרה ביתית חלשה תתקשה להחזיק אותו מקומית.

מבחינת ביצועים, אפשר לעבוד בארבעה צעדים בלבד אם משתמשים בגרסת distill, או בעשרים עד עשרים ושמונה צעדים עם מודל הבסיס וערך guidance של 1 עד 4. אם אין לכם מאיץ גרפי מתאים ואתם צריכים רק תמונות בודדות, עדיף לפנות לשרת ענן שמציע את המודל לפי שימוש במקום לקנות חומרה ייעודית.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("nhathoangfoto/Flux.2-Klein-9B-MatchingPose")
img = pipe("a photo").images[0]

הקבצים

11 קבצים במאגר, 1.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Maching_Pose_9B_Rank256.safetensors1.3 GB
• examples/1c.png2.2 MB
• examples/2c.png2.1 MB
• examples/1b.png2.0 MB
• examples/Example Workflow.png1.2 MB
• examples/2b.png559.7 KB
• examples/1a.jpg511.5 KB
• examples/2a.jpg89.4 KB
• README.md11.6 KB
• .gitattributes1.9 KB
• examples/.gitkeep0 B

הרישיון

המתאם עצמו מופץ תחת רישיון apache-2.0 ומאפשר שימוש אישי, מחקרי ומסחרי חופשי, כולל שינוי והפצה של הקוד. עם זאת, כדי להשתמש בו במוצר מסחרי צריך לבדוק בנפרד את תנאי הרישיון של מודל הבסיס FLUX.2 Klein 9B, שהם מגבילים יותר ולא בהכרח מאפשרים כל שימוש.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗