flux_dev_openpose_controlnet
קוד פתוחraulc0399other2024-09-26
שליטה בתנוחות גוף עבור מודל התמונות של פלקס. פתרון מתאים למי שרוצה להכתיב עמידה וישיבה של דמויות בלי לנחש מה הטקסט יחליט לעשות.
- 744Mפרמטרים
- 2.8 GBמשקל הקבצים
- 1,293הורדות בחודש
- 53לייקים
מה זה
מדובר במודל בקרה של 744 מיליון פרמטרים שמיועד לעבודה מעל flux-dev. במקום לסמוך רק על תיאור טקסטואלי, אתם מספקים מפת שלד של תנוחה והוא מחייב את התמונה להסתדר לפיה. המשקל שלו עצמו יושב על 2.8 גיגה בייט, שזה קומפקטי יחסית, אבל זוכרים שהוא רץ כתוספת למודל הבסיס הכבד.
הוא אומן על מאגר תמונות ייעודי באמצעות צינור העבודה של x-flux. המטרה כאן היא להביא את השליטה המוכרת מכלים קודמים אל תוך האיכות והריאליזם של פלקס, בעיקר בסצנות מורכבות של אנשים שיושבים, עומדים או נמצאים באינטראקציה אחד ליד השני.
מתאים ל
- שחזור תנוחות מדויק
יצירת דמויות לפי צילום קיים בלי לאבד את הקומפוזיציה המקורית של הגוף.
- סצנות של כמה אנשים
קביעת המיקום והישיבה של שני חברים יחד בפארק בדיוק לפי מפת שלד מוגדרת מראש.
- הפקת סדרות תמונות
שמירה על אותה העמדה בדיוק לאורך כמה הנחיות טקסט שונות.
איפה זה נופל
ההטמעה שלו דורשת התעסקות ידנית בקוד, כמו הערה ידנית של שורות בסקריפט אם התמונה כבר עברה עיבוד מקדים של תנוחה. המודל תלוי לחלוטין בצינור של x-flux ולא רץ כרגע ישירות בהטמעה פשוטה וסטנדרטית לחלוטין, ואין תיעוד לגבי היכולת שלו להתמודד עם תנוחות חריגות או זוויות צילום קיצוניות.
שאלות
נפוצות
אפשר להריץ אותו דרך ספריית diffusers הרגילה?
הקוד וההוראות בכרטיס המודל נבנו ספציפית סביב המאגר x-flux של XLabs-AI. כדי להריץ אותו בצורה שמתוארת שם תצטרכו להשתמש בסקריפטים של הפרויקט הזה ולא ישירות דרך פייפליין רגיל בלי התאמות.
האם המודל כולל בתוכו חילוץ תנוחה מתמונה רגילה?
כן, הסקריפט כולל annotator מובנה שמחלץ את השלד, אבל אם כבר יש לכם תמונת שלד מוכנה תצטרכו לכבות את השורה הזו בקוד לפי ההוראות.
איך מריצים
כדי להריץ אותו צריך לשבט את הפרויקט x-flux של XLabs-AI, להתקין סביבת פייתון ייעודית ולהריץ סקריפט עם קובץ משקולות safetensors. הסקריפט הרשמי דורש 50 צעדים, רזולוציה של 1024 על 1024, ומקבל קובץ שלד או תמונה לעיבוד מקדים.
מבחינת חומרה, קחו בחשבון שאתם לא מריצים רק את ה־2.8 גיגה בייט האלה, אלא את flux-dev המלא יחד איתם. מדובר במפלצת זיכרון שמחייבת כרטיס מסך חזק מאוד, ואם אין לכם חומרה ייעודית מקומית, עדיף להרים שרת מנוהל בענן.
from diffusers import DiffusionPipeline
pipe = DiffusionPipeline.from_pretrained("raulc0399/flux_dev_openpose_controlnet")
img = pipe("a photo").images[0]הקבצים
7 קבצים במאגר, 2.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון מוגדר תחת תנאי השימוש הלא מסחריים של FLUX.1 dev. זה אומר שאפשר לחקור, לבדוק ולפתח איתו, אבל אסור לשלב אותו בשום שירות מסחרי או מוצר שמייצר הכנסות.