GPT
הוספת כלי
R

refcontrol-FLUX.2-klein-9B-reference-depth-lora

קוד פתוח

thedeoxenapache-2.02026-05-27

  • diffusers
  • flux
  • flux2
  • klein
  • depth

מתאם משקל קל שמחבר תמונת מקור עם מפת עומק. הוא שומר על מראה הדמות או האובייקט ומלביש אותם על תנוחה ומבנה מרחבי חדשים.

  • 177 MBמשקל הקבצים
  • 8,703הורדות בחודש
  • 74לייקים

מה זה

מדובר בתוסף LoRA שמיועד לעבודה על גבי מודל הבסיס הלא מזוקק FLUX.2 Klein 9B. הרעיון כאן הוא שליטה כפולה בתמונה, מצד אחד מזינים תמונת רפרנס כדי להעתיק פנים, בגדים או סגנון, ומצד שני מזינים מפת עומק שקובעת את הזווית והפוזיציה בחלל. ההכשרה התמקדה בעיקר בבני אדם, אבל לפי התיעוד הוא מתמודד גם עם חפצים כמו מכוניות או רהיטים ודמויות מאוירות.

במקום להסתמך רק על טקסט בניסיון לשחזר אותה דמות שוב ושוב, הכלי מפריד בין הזהות למבנה. המודל שוקל 177 מגה בייט בלבד, כך שלא מדובר ברשת כבדה עצמאית אלא בשכבת התאמה שמתלבשת ישירות מעל מודל הבסיס הרחב.

מתאים ל

  • עקביות דמויות לקומיקס

    שומר על תווי הפנים והבגדים של דמות לאורך סצנות שונות לפי פוזות שנלקחות ממפות עומק.

  • החלפת תנוחה בפורטרטים

    מעביר אדם מתמונת מקור אחת לקומפוזיציה חדשה לגמרי בלי לאבד את תווי הפנים והסגנון.

  • עיבוד והצבת חפצים

    שותל רהיטים, רכבים או אביזרים בסצנה חדשה לפי מפת עומק תוך שימור מאפייני הפריט.

איפה זה נופל

הוא לא יסלח על פערי גודל ופרופורציות. אם מפת העומק מציגה קנה מידה שונה לחלוטין מזה שבתמונת המקור, התוצאה תתעוות, שכן הכלי מניח התאמה סבירה בין המבנים. בנוסף, האימון התרכז בעיקר בבני אדם, כך שביצועים על חפצים מורכבים או סגנונות קיצוניים עלולים להיות פחות יציבים. חיסרון תפעולי ברור הוא התלות המלאה במודל בסיס לא מזוקק שדורש 50 צעדים, מה שהופך כל יצירת תמונה לאיטית ומחייב הכנה מוקדמת של מפת עומק.

שאלות
נפוצות

האם אפשר להריץ את הקובץ הזה לבדו בלי מודלים נוספים?

לא. מדובר במשקלי LoRA במשקל 177 מגה בייט, והם חייבים להיטען יחד עם מודל הבסיס FLUX.2 Klein 9B. מעבר לכך צריך גם כלי שיודע לחלץ מפת עומק מהתמונה המשנית כדי לספק אותה למודל.

איך גורמים למודל לשמור על המקור בצורה מדויקת יותר?

יש לכוון את עוצמת השכבה לכיוון 1.0 ולהשתמש במילת ההפעלה refcontrol בפרומפט. כדאי גם לוודא שהפרופורציות וקנה המידה של מפת העומק קרובים לאלו של תמונת הרפרנס.

איך מריצים

כדי להריץ אותו צריך לטעון את מודל הבסיס FLUX.2 Klein 9B Base בספריית diffusers או דרך ComfyUI, שעבורו מצורף קובץ זרימת עבודה מוכן. מודל הבסיס דורש בערך חמישים צעדי דגימה וערך guidance scale סביב 4.0. בנוסף, חובה להתקין צומת לחילוץ מפות עומק, כמו comfyui_controlnet_aux.

משקל ההרצה הכולל נקבע לפי מודל הבסיס של תשעה מיליארד פרמטרים, ולכן תצטרכו כרטיס מסך חזק עם זיכרון וידאו משמעותי. בריצת הצינור מוסיפים לפרומפט את מילת ההפעלה refcontrol, ומכוונים את עוצמת השכבה לטווח שבין 0.8 ל־1.0 בהתאם לרמת הדיוק הנדרשת מול הרפרנס.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("thedeoxen/refcontrol-FLUX.2-klein-9B-reference-depth-lora")
img = pipe("a photo").images[0]

הקבצים

19 קבצים במאגר, 177 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקבצים והפצה שלהם בתוך מוצר, ללא תשלום תמלוגים. התנאי העיקרי הוא שמירת הודעת זכויות היוצרים והרישיון המקורי בקוד או בתוכנה שמפיצים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗