GPT
הוספת כלי
R

refcontrol-FLUX.2-klein-9B-reference-pose-lora

קוד פתוח

thedeoxenapache-2.02026-06-22

  • diffusers
  • flux
  • flux2
  • klein
  • pose

התוסף הזה מחבר בין דמות מתמונת מקור לבין שלד תנוחה מוגדר. הוא מתאים למי שחייב לשמור על תווי פנים וסגנון מדויקים בתוך פוזיציה חדשה לגמרי.

  • 180 MBמשקל הקבצים
  • 10,416הורדות בחודש
  • 61לייקים

מה זה

מדובר במשקולת LoRA שיושבת מעל מודל הבסיס FLUX.2 Klein 9B ומשלבת בין מפת שלד לבין תמונת ייחוס. המטרה שלה ברורה: לשמר תווי פנים, תסרוקת ובגדים בזמן שהגוף מתעקם בדיוק לפי התנוחה שנבחרה. מעבר לבני אדם, היא יודעת לעבוד גם עם דמויות מאוירות וחלק מהחפצים.

מודל הבסיס יודע לבצע העברת תנוחה ודמות בעזרת פרומפט מתאים, אבל כאן מקבלים הידוק משמעותי של הפרטים. המודל שומר על יציבות הדמות בצורה טובה יותר ממה שמפיק מודל הבסיס לבדו, בלי צורך באימון מחדש על כל דמות ספציפית.

מתאים ל

  • איור קומיקס וסטוריבורד

    שמירה על אותה דמות בדיוק בזוויות ובתנוחות שונות לאורך פריימים עוקבים.

  • הנפשת פריים מפתח

    יצירת תמונות מפתח רציפות עבור אנימציה מתוך תמונת ייחוס יחידה ומפת שלד.

  • הלבשת תנוחות לאיורים

    התאמת דמויות מאוירות לפוזיציות אנושיות מורכבות תוך שמירה על הסגנון המקורי.

איפה זה נופל

השילוב הזה לא תמיד חלק, והוא תלוי מאוד בחומרי הגלם. אם מפת התנוחה מגיעה עם פרופורציות גוף או חיתוך פריים ששונים מהותית מתמונת המקור, התוצאה נוטה להתעוות. בנוסף, האימון התמקד בעיקר באנשים, כך שחפצים או דמויות עם מבנה גוף חריג עלולים להניב תוצאות לא צפויות, בייחוד בגרסת הריצה המהירה של ארבעה צעדים.

שאלות
נפוצות

האם אפשר להריץ את המודל ישירות על תמונת רפרנס בלי לחלץ שלד מראש?

לא, התהליך דורש מפת שלד ברורה, בדרך כלל על רקע שחור, שחולצה באמצעות כלי כמו DWPose. התמונה הראשונה חייבת להגדיר את התנוחה והשנייה את מראה הדמות.

למה התוצאה מאבדת מתווי הפנים בריצה מהירה של 4 צעדים?

הגרסה המזוקקת של 4 צעדים מיועדת למהירות אך מגיעה עם פשרה באיכות ובנאמנות לפרטים. לדיוק מקסימלי בפרטי הדמות יש לעבוד עם מודל הבסיס המלא ב־50 צעדים.

איך מריצים

כדי להריץ אותו צריך לטעון את מודל הבסיס FLUX.2 Klein 9B דרך ספריית diffusers או בתוך ממשק ComfyUI, יחד עם תוסף לחילוץ שלד כמו DWPose. המודל דורש הפעלה בעזרת משפט הפעלה ייעודי, ומכוונים את המשקל של התוסף לטווח שבין 0.8 ל־1.0 בהתאם לרמת הדיוק הנדרשת לדמות.

יש שתי דרכים לעבוד איתו: עם מודל הבסיס הלא מזוקק שמצריך בערך 50 צעדים ומספק איכות גבוהה, או עם הגרסה המזוקקת שרצה בארבעה צעדים בלבד. אם בוחרים בריצה המהירה של 4 צעדים, הדיוק של התנוחה והדמות נפגע, ולכן לפרויקטים שדורשים התאמה קפדנית עדיף לספוג את זמן הריצה המלא.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("thedeoxen/refcontrol-FLUX.2-klein-9B-reference-pose-lora")
img = pipe("a photo").images[0]

הקבצים

9 קבצים במאגר, 180 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0, מה שאומר שאפשר להשתמש במודל לפרויקטים מסחריים, לשנות אותו ולהפיץ אותו בחופשיות. התנאי העיקרי הוא שמירה על הודעות זכויות היוצרים והרישיון המקורי, בלי אחריות משפטית מצד היוצר.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗