GPT
הוספת כלי
K

Krea-2-pose-controlnet

קוד פתוח

thedeoxenapache-2.02026-08-04

  • diffusers
  • krea
  • krea2
  • openpose
  • controlnet

התאמת פוזות של דמויות על גבי Krea2 Turbo בלי לאבד שליטה על הפרומפט. מודל LoRA קטן שמתלבש על שלד עצמות OpenPose ומייצר תמונה לפי הוראות הטקסט.

  • 271 MBמשקל הקבצים
  • 10,576הורדות בחודש
  • 99לייקים

מה זה

מדובר במתאם LoRA קל משקל בסגנון ControlNet שמיועד לעבודה ישירה מול מודל הבסיס Krea-2-Turbo. אתם מזינים לו מפת עצמות של OpenPose או DWPose על רקע שחור, והוא כופה את מבנה הגוף והמנח של הדמות ישירות על התוצר הסופי, בזמן שהפרומפט הטקסטואלי קובע לגמרי את הבגדים, התאורה והסגנון הגרפי.

המודל אומן בעיקר על גוף אנושי, אך הוא מסתדר גם עם דמויות מאוירות או מסוגננות. הוא לא מתפקד כמודל מיזוג של תמונת רפרנס אלא אך ורק כבקרת שלד קלאסית, מה שמאפשר שימוש חלק בתוך סביבות עבודה מבוססות diffusers או ComfyUI מבלי להזדקק לטריגרים מילוליים מיוחדים.

מתאים ל

  • הפקת סטוריבורד וקומיקס

    שמירה על פוזות אחידות של דמויות בין פאנלים שונים, תוך שינוי זוויות צילום ורקעים באמצעות הטקסט.

  • קונספט ארט בתנוחות מוגדרות

    הלבשת עיצובים שונים על תנוחת לחימה או עמידה מדויקת שנשלטת על ידי שלד OpenPose.

  • פריימים מנחים לאנימציה

    יצירת קיפריימים לפי רצף תנועה מוכן מראש עם מודל מהיר שמייצר תמונה בעשרה צעדים.

איפה זה נופל

זה לא כלי להעתקת זהות, פנים או בגדים מתמונת מקור, והוא לא מקבל תמונת רפרנס רגילה ישירות לתוכו. חובה להפיק קודם מפת שלד מדויקת של DWPose או OpenPose, ועדיף שתהיה על רקע שחור מלא, אחרת ההצמדה לפוזה נפגעת.

מעבר לכך, המודל אומן על גוף אנושי, כך שתנוחות קיצוניות או אנטומיה חריגה מדי עלולות להתעוות. אם הפוזה נוקשה או שוברת את התוצאה, צריך לכוונן ידנית את משקל ה־LoRA בטווח שבין 0.6 ל־1.0 בהתאם לעוצמת האכיפה שרוצים מול הפרומפט.

שאלות
נפוצות

האם צריך מילת הפעלה מיוחדת בפרומפט כדי שהפוזה תעבוד?

אין צורך במילות טריגר בכלל. השליטה על תנוחת הדמות מגיעה ישירות ממפת השלד שמוזנת כקלט תמונה, והטקסט משמש רק לתיאור הדמות, הסגנון והסביבה.

מה עושים אם הדמות יוצאת מעוותת או שהתנוחה נוקשה מדי?

ההמלצה בכרטיס המודל היא לשחק עם משקל ה־LoRA בטווח שבין 0.6 ל־1.0. הורדת המשקל מרככת את ההיצמדות לפוזה ומאפשרת למודל גמישות גדולה יותר, בעוד שהעלאה לכיוון 1.0 מחזקת את הדיוק האנטומי מול השלד.

באילו כלים צריך להשתמש כדי להריץ את זה בתוך ComfyUI?

תצטרכו את הרחבת comfyui_controlnet_aux כדי לחלץ שלד דרך DWPose, ואת צמתי comfyui-krea2-ostris-edit שמטפלים בהזנת מפת הבקרה לתוך המקודד של Krea2.

איך מריצים

המשקל הכולל של הקבצים עומד על 271 מגה בייט, כך שהורדה והרצה מקומית הן עניין פשוט מאוד. כדי לעבוד איתו תצטרכו את משקלי הבסיס של Krea-2-Turbo, למשל בגרסת ה־FP8 המוקטנת, יחד עם צמתי ההרחבה Krea2 Ostris Edit ומחלץ הפוזות DWPose.

בזכות מהירות הדגימה של מודל הטורבו, הריצה מתבצעת בכעשרה צעדים בלבד עם ערך CFG סביב 1.0 ודוגם מסוג euler simple. כל עוד יש לכם כרטיס מסך שיכול להחזיק את מודל הבסיס עצמו, תוספת ה־LoRA הזו כמעט שאינה משפיעה על צריכת הזיכרון.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("thedeoxen/Krea-2-pose-controlnet")
img = pipe("a photo").images[0]

הקבצים

31 קבצים במאגר, 271 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הקבצים והפצה מחודשת שלהם. התנאי העיקרי הוא שמירה על הצהרת זכויות היוצרים וציון תנאי הרישיון המקורי, כך שניתן לשלב אותו במוצרים מסחריים בלי לחשוף קוד קנייני.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗