ViTPose_video
רץ בדפדפןhystsרישיון לא דווח2022-06-08
מעלים סרטון וידאו ומקבלים זיהוי תנועה ושלד אנושי מולבש על הפריימים. הכלי מיועד למי שרוצה לבדוק הערכת תנוחה על קובצי MP4 קצרים ישירות בדפדפן.
- —הורדות בחודש
- 79לייקים
מה זה
מזינים קובץ וידאו בפורמט MP4 ומקבלים בחזרה סרטון שבו מסומנות נקודות המפרקים והעצמות על גבי הגוף. אפשר לבחור מודל גילוי אובייקטים מתוך רשימה נפתחת, לצד בחירת מודל התנוחה עצמו, ולקבוע סף דיוק לזיהוי תיחום הגוף.
מאחורי הממשק רץ המודל public-data/ViTPose, שנשען על ארכיטקטורת vision transformer להערכת תנוחת גוף לפי מאמר מחקרי מ־2022. הקוד כולל דוגמאות וידאו מוכנות מראש לטעינה ישירה, ומאפשר להגביל את העיבוד לטווח של בין פריים אחד ל־300 פריימים בלבד.
מתאים ל
- בדיקת איכות שלדי וידאו
בחינת הדיוק של נקודות המפרקים על קטעי תנועה קצרים לפני הטמעה בפרויקט.
- התאמת תצוגה חזותית
כוונון עובי הקווים וגודל הנקודות על גבי סרטון קיים באמצעות כפתור הציור מחדש.
- השוואת מודלי זיהוי
בדיקת התוצאה של שילובי מודלי תנוחה וגלאי גוף שונים על אותם פריימים.
איפה זה נופל
הבעיה המיידית היא שההדגמה כלל אינה עולה בגלל שגיאת בנייה בעמוד. מעבר לכך, הקוד מגביל את הניתוח לתקרה של 300 פריימים, כך שאי אפשר לעבד סרטונים שלמים או קטעים ארוכים. הרצה של מודלי ראייה ממוחשבת על מעבד בסיסי ללא כרטיס מסך מביאה לעיבוד אטי מאוד, וההדגמה לא נותנת קובץ נתונים גולמי עם נקודות הציון אלא רק וידאו חזותי.
שאלות
נפוצות
האם האפליקציה עובדת כרגע בדפדפן?
לא, נכון לעכשיו היא נמצאת במצב של BUILD_ERROR ולא נטענת כלל. כדי להשתמש בה יש צורך שהיוצר יתקן את שגיאות הבנייה, או שתורידו את הקוד ותריצו אותו בעצמכם.
האם השימוש בשירות עולה כסף?
הגישה לעמוד בהאגינג פייס פתוחה ללא תשלום ואינה דורשת מנוי. עם זאת, המשאבים שמריצים אותה מוגבלים לחומרת מעבד בסיסית בלבד.
כמה זמן לוקח לעבד סרטון וידאו?
החומרה המוגדרת היא מעבד רגיל ללא מאיץ גרפי, כך שעיבוד של עשרות פריימים צפוי לקחת זמן ממושך. ברירת המחדל מוגבלת ל־60 פריימים כדי למנוע המתנה ארוכה מדי, ומקסימום החישוב נעצר ב־300 פריימים.
במה הממשק הזה שונה מהרצת ViTPose עצמו?
הממשק מוסיף שלב של גלאי גוף לפני חישוב התנוחה ומציג רק קובץ וידאו עם ציור השלד. הרצה ישירה של המודל בקוד מאפשרת לקבל את קואורדינטות המפרקים המדויקות לכל פריים ולעבוד על סרטונים בכל אורך.
איך משתמשים
גוררים קובץ וידאו או בוחרים באחת הדוגמאות, מגדירים את מגבלת הפריימים ולוחצים על Predict. לאחר שהעיבוד מסתיים אפשר לשנות את רדיוס הנקודות ועובי הקווים וללחוץ על Redraw כדי לרנדר מחדש בלי להריץ שוב את המודל. עם זאת, הסביבה מוגדרת על מעבד בסיסי בלבד ונמצאת כרגע במצב של שגיאת בנייה BUILD_ERROR, כך שהיא מושבתת ואינה ניתנת להרצה בפועל.
הרישיון
הרישיון של המרחב לא דווח כלל במאגר. במצב כזה אין הרשאה ברורה לשימוש מסחרי בקוד או בפלטים שנוצרים, ואי אפשר לדעת מה נעשה עם קובצי הווידאו שנשלחים לשרת.