controlnet-3d-pose
רץ בדפדפןdiffusersרישיון לא דווח2023-04-13
מעמידים דמות תלת ממדית בתנוחה מוגדרת ומייצרים ממנה תמונה בעזרת תיאור טקסטואלי. מתאים למי שרוצה שליטה מדויקת ביציבה של דמויות בלי להסתמך רק על ניחושים של מחולל תמונות רגיל.
- —הורדות בחודש
- 64לייקים
מה זה
הממשק מציג קנבס שבו מכוונים דמות תלת ממדית. בוחרים תבנית תנוחה מוכנה מראש מתוך שש אפשרויות קיימות, ביניהן עמידת ידיים, שפגאט, בעיטה או בלט, ומגדירים ציר סיבוב למפרקים לפי צירים איקס, ווי או זד. לאחר מכן מקלידים פרומפט טקסטואלי של מה שרוצים לראות בתמונה.
מאחורי הקלעים רץ שילוב של שני מודלים: Stable Diffusion בגרסה 1.5 של Runway יחד עם ControlNet Canny של lllyasviel דרך ספריית Diffusers, כאשר התזמון נעשה בעזרת UniPCMultistepScheduler. המערכת לוקחת את מנח הדמות מהקנבס, מחלצת קווי מתאר בשיטת Canny, ומשתמשת בהם כדי לאלץ את התמונה שנוצרת להתאים בדיוק לתנוחה שבחרתם.
מתאים ל
- העמדת דמויות בסצנות אקשן
קביעת תנוחות מורכבות כמו בעיטה או עמידת ידיים מתוך תבניות מוכנות עבור יצירת איורים מדויקים.
- שליטה בזווית הדמות
סיבוב מפרקים בצירים שונים כדי לקבל זווית גוף שקשה להסביר במילים בפרומפט רגיל.
- הפקת רעיונות לקונספט ארט
שילוב בין תנוחת יציבה נבחרת לתיאור טקסטואלי חופשי כדי לייצר במהירות מגוון וריאציות לאותה דמות.
איפה זה נופל
הבעיה המרכזית היא שהחלל מדווח על סטטוס תקול ולא עולה בדפדפן. בנוסף, למרות השם שמבטיח תנוחה תלת ממדית, המודל שרץ בפועל הוא גרסת קווי מתאר רגילה ולא מודל ייעודי להבנת עומק או שלד גוף, כך שפרטים פנימיים מורכבים עלולים ללכת לאיבוד בעת עיבוד התנוחה.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה הזאת כרגע?
כרגע לא, מכיוון שהדף מציג שגיאת ריצה ואינו פעיל בשרת. כדי לבדוק אותו בפועל תצטרכו להמתין לעדכון מהיוצרים או לשכפל את הקוד ולהריץ אותו באופן עצמאי.
האם האפליקציה עולה כסף?
השימוש בממשק עצמו מוצע ללא תשלום ישיר באתר. עם זאת, אם תרצו לשכפל את החלל לחשבון שלכם כדי לפתור את השגיאה, תצטרכו להקצות חומרה מתאימה כמו מעבד גרפי T4 medium שעשוי להיות כרוך בעלות לפי תעריפי האתר.
במה היא שונה משימוש רגיל ב־ControlNet?
ההבדל נמצא בממשק הקנבס שמאפשר לכוון דמות בתלת ממד ישירות בדפדפן במקום להעלות תמונה מוכנה מראש. עם זאת, המודל שמייצר את התמונה בפועל הוא גרסת קווי המתאר Canny המוכרת של Stable Diffusion 1.5 ולא מודל חדש או ייחודי.
אפשר להריץ את הקוד הזה באופן מקומי?
כן, הקוד מבוסס על ספריית diffusers ו־gradio סטנדרטיות וזמין לבדיקה. תצטרכו כרטיס מסך עם זיכרון מספק להרצת Stable Diffusion 1.5 יחד עם מודל ההרחבה, ולתקן את הגורם שהפיל את השרת המקורי.
איך משתמשים
בפועל בוחרים תבנית תנוחה, מסובבים את המפרקים לפי הציר הרצוי, כותבים תיאור טקסט בתיבה ולוחצים על Generate. התוצאה מוצגת בגלריה לצד כפתור שיתוף לקהילה. החומרה המוגדרת היא שרת T4 medium, אך נכון לעכשיו לא ניתן להריץ את הדמו בפועל בגלל שגיאת ריצה כללית בעלייה.
הרישיון
הרישיון של המרחב עצמו לא דווח בעמוד. המשמעות היא שאין הרשאה ברורה לגבי שימוש מסחרי בקוד או בפלטים שנוצרים ממנו, ויש לבדוק את תנאי הרישיון המקוריים של המודלים הפנימיים, Stable Diffusion 1.5 וקונטרולנט, לפני כל שימוש מחוץ לניסוי אישי.