video2mmpose

מה זה

אתם מעלים קובץ וידאו רגיל או קובץ גיף דרך הממשק, ולוחצים על כפתור השליחה. בצד השני אתם מקבלים וידאו מעובד עם סימון השלד וקבצים להורדה. מאחורי הקלעים הקוד מתחבר אל הדגמת mmpose-estimation של אותו יוצר, ומעבד את הפריימים בעזרת OpenCV ו־MoviePy כדי להחזיר את התוצאה המוכנה.

בממשק יש שתי דוגמאות מובנות להרצה מהירה, קטע וידאו של childishgambino וקטע של jimmyfallon. הדוגמאות האלה לא נשמרו מראש במטמון לפי הקוד, כך שהן מדגימות עיבוד בפועל של תנועות גוף מורכבות מתוך קטעים מוכרים.

מתאים ל

• בדיקת זיהוי תנועה בווידאו

  מעלים קטע קצר כדי לראות איך מודל השלד מתמודד עם תנועות גוף אמיתיות.

• המרת גיף לשלד תנועה

  טוענים אנימציית גיף ומפיקים ממנה קובץ וידאו שמציג את נקודות המפרקים.

• הורדת קבצי ניתוח

  מקבלים את התוצאות כקובצי פלט מוכנים לשימוש בהמשך העבודה.

איפה זה נופל

המגבלה הכי גדולה כרגע היא שהאפליקציה פשוט מושהית. מעבר לזה, הקוד מסתמך על קריאה למרחב נפרד של mmpose, ואם השירות ההוא לא זמין, שום דבר לא יעבוד. המעבד הבסיסי יתקשה מאוד עם קבצים כבדים, ואין בממשק שום שליטה על פרמטרים של הזיהוי או על דיוק המודל.

איך משתמשים

טוענים וידאו לתיבה הראשית או קובץ GIF ייעודי, ולוחצים על Submit. כרגע האפליקציה במצב מושהה ולא ניתן להריץ אותה ישירות ברשת. כשהיא רצה, המפרט שלה מוגדר על מעבד בסיסי בלי מאיץ גרפי, מה שאומר שעיבוד וידאו פריים אחר פריים ייקח זמן ולא יתאים לקבצים ארוכים.

הרישיון

הרישיון לא דווח בקוד או בפרטי המרחב. כשאין רישיון מוגדר, אין לכם אישור ברור לשימוש מסחרי בקוד, ולא ידוע מה המדיניות לגבי סרטונים שאתם מעלים או התוצרים שמופקים.

הרישיון המלא ב־Hugging Face ↗