video2openpose2
רץ בדפדפןfffiloniרישיון לא דווח2023-04-07
מעלים קובץ וידאו או גיף ומקבלים סרטון של שלד תנועה בפורמט OpenPose. זה מיועד למי שרוצה להכין רפרנס תנועה עבור אנימציה במודלים כמו קונטרול-נט.
- —הורדות בחודש
- 76לייקים
מה זה
אתם מעלים סרטון רגיל או קובץ גיף דרך ממשק פשוט, ומקבלים קובץ וידאו יחד עם קבצים להורדה שמציגים את מפת התנועה של הדמות. התוצר מציג רק את שלד המפרקים הצבעוני על רקע שחור, פריים אחרי פריים לפי התנועה המקורית.
מאחורי הקלעים רץ הקוד של OpenposeDetector מתוך חבילת controlnet_aux, שנטען ישירות מהמאגר של lllyasviel/ControlNet. התוכנה מפרקת את הסרטון לתמונות בעזרת moviepy ו־OpenCV, מזהה את מנח הגוף בכל פריים בנפרד, ומרכיבה חזרה סרטון שמתאים ישירות להזנה למודלים של יצירת וידאו.
מתאים ל
- הפקת שלד תנועה מגיף
מעלים אנימציית גיף קצרה ומקבלים קובץ שמבודד את תנועות המפרקים.
- הכנת קלט לקונטרול-נט
מייצרים רפרנס תנועה של שלד מוכן להזנה במחוללי תמונות ווידאו.
- חילוץ מנח גוף מווידאו
ממירים קליפ מצולם לסרטון שחור שמדגיש את מסלול הגפיים בלבד.
איפה זה נופל
הבעיה המיידית היא שהחלל תקוע במצב של RUNTIME_ERROR, ולכן הוא לא מייצר שום דבר בדפדפן כרגע. מעבר לזה, הממשק לא כולל שום הגדרות לדיוק הזיהוי, חיתוך זמנים או התמודדות עם תאורה חלשה, ומכיוון שמדובר בעיבוד של פריים בודד בכל פעם, תנועות חדות מייצרות ריצודים מעצבנים בתוצאה הסופית.
שאלות
נפוצות
האם הכלי עובד עכשיו בדפדפן?
לא. החלל נמצא כרגע במצב של תקלת ריצה, כך שהכפתורים לא יניבו תוצאה עד שהמפתח יתקן את הקוד או את התלויות בסביבה.
האם אפשר להריץ את זה על המחשב?
כן, הקוד מבוסס על ספריות פתוחות ומוכרות כמו controlnet_aux, OpenCV ו־Gradio. אפשר להעתיק את הסקריפט מתוך app.py ולהריץ אותו מקומית אם יש לכם סביבת פייתון וכרטיס מסך מתאים.
האם השירות עולה כסף?
לא, הגישה לעמוד בהאגינג פייס פתוחה לגמרי ללא תשלום. אין צורך להזין אמצעי תשלום, אך בשל כך גם אין ערובה ליציבות השרת.
כמה זמן לוקח לעבד וידאו?
החומרה שהוגדרה שם היא מאיץ t4-small. עיבוד פריים אחר פריים ברזולוציה רגילה לוקח בדרך כלל בין כמה עשרות שניות לכמה דקות, תלוי באורך הקובץ ובקצב הפריימים.
איך משתמשים
בפועל, כרגע אי אפשר להריץ אותה כי העמוד מציג שגיאת ריצה. באופן תיאורטי מעלים קובץ ולוחצים על Submit, והעיבוד מוגדר לרוץ על מעבד גרפי t4-small. אם השרת היה עובד, פענוח של וידאו שלם פריים אחר פריים על כרטיס כזה דורש זמן המתנה ממשי של דקות לכל קליפ קצר.
הרישיון
היוצר לא פרסם רישיון לפרויקט הזה. המשמעות היא שאין הרשאה משפטית ברורה לשימוש מסחרי בקוד, והעלאת סרטונים פרטיים נעשית מול שרתי הדגמה ללא התחייבות רשמית על שמירת המידע.