caizhongang/SMPLer-X
רץ בדפדפןcaizhongangרישיון לא דווח2024-02-24
מעלים וידאו ומקבלים שחזור תלת ממדי מפורט של תנוחת הגוף, הידיים והפנים. הכלי מיועד למי שחוקר תנועה אנושית ורוצה לבחון מודל משוערך בלי להקים סביבת פיתוח מקומית.
- —הורדות בחודש
- 40לייקים
מה זה
אתם מעלים קובץ וידאו ומקבלים סרטון מעובד לצד קובצי תלת ממד להורדה. הממשק מציג את הפריים האחרון שעובד, מייצר סרטון וידאו עם שכבת תנועה, ומאפשר להוריד קובצי מודלים בפורמט SMPL-X ורשתות תלת ממדיות. אפשר לבחור סרטונים מתוך דוגמאות מוכנות מראש בממשק כדי לבחון את היכולות בלי להעלות קובץ אישי.
מאחורי הקלעים רץ המודל smpler_x_h32 שנטען ישירות מהמאגר של היוצר. הקוד מתבסס על ארכיטקטורת SMPLer-X, שמתמקדת בשחזור מקיף של מנח גוף, הבעות פנים ומחוות ידיים. לפני תחילת העיבוד אתם קובעים סף זיהוי לתיחום הדמויות בעזרת סליידר, מגדירים את כמות האנשים בפריים, ומסמנים האם לייצא את הרשת כקודקודים.
מתאים ל
- חילוץ שלד תלת ממדי מווידאו
המרת סרטוני תנועה לקובצי מודל SMPL-X שכוללים מנח גוף, כפות ידיים ופנים.
- הורדת רשתות גיאומטריות
ייצוא קובצי תלת ממד של הדמויות לשימוש בתוכנות אנימציה וגרפיקה ממוחשבת.
- בדיקת איכות של מודל SMPLer-X
השוואת ביצועי המודל על סרטוני דוגמה לפני שמתקינים את המשקלים באופן מקומי.
איפה זה נופל
הבעיה המיידית היא שהאפליקציה קרסה בהידור ולא עולה כלל בדפדפן. מעבר לתקלה הטכנית, סרטונים שבהם הדמויות מוסתרות חלקית, זזות במהירות חריגה או מצולמות בתאורה חלשה עלולים לשבש את מנגנון הזיהוי. סליידר הסף דורש כוונון ידני כדי לא לפספס אנשים או לייצר זיהויים שגויים, וקובצי הווידאו עלולים להעמיס על הזיכרון של המאיץ הבודד.
שאלות
נפוצות
האם השירות כרוך בתשלום?
הגישה לממשק בדפדפן פתוחה ללא תשלום ואינה דורשת מנוי. עם זאת, נכון לעכשיו העמוד נמצא במצב שגיאה ולא ניתן להשתמש בו ישירות.
למה האפליקציה לא מגיבה כשנכנסים אליה?
הקוד תקוע במצב שגיאת בנייה אצל המארח ולכן הממשק אינו פעיל. עד שהיוצר יעדכן את קובצי התצורה או יתקן את התלויות, לא ניתן להריץ קבצים.
האם אפשר להריץ את הכלי על המחשב שלי?
כן, משקלי המודל smpler_x_h32 זמינים להורדה חופשית מהמאגר של היוצר. תצטרכו כרטיס מסך מתאים וסביבת פייתון מקומית כדי להריץ את קובץ ההסקה.
במה שונה הממשק משימוש ישיר במודל?
הממשק עוטף את המודל בסביבת בדיקה מהירה לקובצי וידאו עם רכיבי שליטה בסיסיים. עבודה ישירה מול המודל בקוד מאפשרת גמישות מלאה בעיבוד אצוות, התאמת פרמטרים וחיבור למערכות קיימות.
איך משתמשים
בפועל, כרגע אי אפשר להריץ את העיבוד בדפדפן מפני שהאפליקציה נמצאת במצב שגיאת בנייה. במצב תקין, מעלים סרטון לתיבת הקלט או בוחרים דוגמה, מכוונים את סף הזיהוי וכמות האנשים, ולוחצים על כפתור ההרצה.
ההגדרה מיועדת לעבוד על מאיץ גרפי מסוג L4 יחיד דרך מנגנון spaces. כשהשרת יחזור לפעול, עיבוד של סרטונים ידרוש זמן המתנה שנמדד בשניות עד דקות לפי אורך הקטע וכמות הפריימים, ללא צורך בהתחברות לחשבון.
הרישיון
הרישיון של המאגר לא דווח בקוד או בהגדרות. במצב כזה אין אישור מפורש לשימוש מסחרי, ומומלץ להתייחס לקוד ולתוצאות כחומר למחקר ובדיקה בלבד. קובצי וידאו שמועלים לאפליקציה מעובדים על גבי תשתית הענן של Hugging Face.