controlnet-openpose
רץ בדפדפןdiffusersרישיון לא דווח2023-03-03
הכלי מייצר תמונות חדשות ששומרות במדויק על תנוחת הגוף מתוך תמונה קיימת. הוא מתאים למי שרוצה לשלוט בפוזיציה של דמויות במקום לנחש הנחיות טקסט.
- —הורדות בחודש
- 101לייקים
מה זה
מעלים תמונה של אדם דרך קובץ או מצלמת רשת, וכותבים הנחיית טקסט למה שרוצים לראות. בתגובה מקבלים גלריית תמונות שבה הדמות החדשה עומדת בדיוק באותה תנוחה, בזכות שילוב שמזהה את מפרקי הגוף ומעביר אותם הלאה ליצירה.
מאחורי הקלעים רץ גלאי OpenposeDetector שמחלץ את שלד התנוחה מתוך הקובץ, לצד מודל הבקרה sd-controlnet-openpose של lllyasviel ומודל היצירה stable-diffusion-v1-5 של RunwayML. הצינור הזה מנוהל דרך דיפיוזרס ומשתמש ב־UniPCMultistepScheduler כדי לחשב את התוצאה הסופית ביעילות.
מתאים ל
- העתקת תנוחה מדמות
שחזור פוזיציה מדויקת של אדם מצולם לתוך סגנון ויזואלי חדש לגמרי.
- עבודה מול מצלמת רשת
צילום עצמי מהיר ישירות בדפדפן כדי להגדיר את התנוחה הרצויה לתמונה.
- בדיקת שילובי קונטרול-נט
בחינת האופן שבו מפרקי הגוף מתורגמים לתמונה מבוססת הנחיה מילולית.
איפה זה נופל
הבעיה המרכזית כרגע היא טכנית לחלוטין. העמוד מדווח על BUILD_ERROR ולכן אי אפשר להריץ אותו ישירות דרך האתר. מעבר לזה, המודל מתבסס על גרסת הבסיס הישנה של סטייבל דיפיוז'ן 1.5, כך שאיכות הפנים והפרטים הקטנים מוגבלת ביחס למודלים מודרניים. אם התמונה המקורית חשוכה או שהגוף מוסתר בחלקו, חילוץ השלד עלול להיכשל ולייצר עיוותים אנטומיים.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה כרגע בדפדפן?
לא. העמוד מוגדר כרגע בסטטוס של שגיאת בנייה ולכן הוא אינו נטען לפעולה. תצטרכו להמתין לעדכון הקוד או להריץ את המודלים עצמאית.
האם הכלי הזה עולה כסף?
הגישה לעמוד בהאגינג פייס פתוחה ללא תשלום. עם זאת, מכיוון שיש כרגע שגיאת הרצה, הגישה החינמית אינה שימושית עד לתיקון המרחב.
מה קורה עם התמונות שמעלים?
התמונות נשלחות לעיבוד בשרת שמריץ את המרחב כדי לחלץ את התנוחה. מאחר שלא פורסם מסמך תנאים או רישיון ספציפי, עדיף לא להעלות קבצים רגישים או פרטיים.
אפשר להריץ את אותו הדבר במחשב האישי?
כן, כל המודלים שבהם נעשה שימוש הם רכיבים פתוחים ומוכרים של דיפיוזרס. אפשר להתקין את הספריות המתאימות בפייתון ולהריץ את הצינור הזה מקומית על כרטיס מסך תומך.
איך משתמשים
בממשק בוחרים בין העלאת קובץ לבין צילום מהמצלמה, מקלידים תיאור בשדה הטקסט ולוחצים על Generate. אם לא תעלו תמונה, תקבלו שגיאה ישירה שמבקשת קובץ. ההדגמה מוגדרת לרוץ על חומרת t4-medium, אך נכון לעכשיו היא נמצאת במצב שגיאת בנייה ולא תגיב בדפדפן עד שיוצריה יתקנו את הקוד.
הרישיון
הרישיון של המרחב עצמו לא דווח. מודל הבסיס של סטייבל דיפיוז'ן מגיע במקור תחת רישיון פתוח עם הגבלות שימוש אתיות, אך בהיעדר הגדרה ברורה של המפתח, אי אפשר להסתמך עליו לשימוש מסחרי מובטח.