Depth-Anything-Video

מה זה

אתם מעלים קובץ וידאו מהמחשב ובוחרים באחד משלושה גדלים של המודל בתפריט: vits הקטן, vitb הבינוני או vitl הגדול והמדויק יותר. בצד השני אתם מקבלים חזרה סרטון מעובד שמציג מפת עומק חזותית לכל אורך הקליפ.

מאחורי הקלעים הקוד משתמש בצינור של transformers למשימת depth-estimation על בסיס משפחת המודלים של Depth Anything, וספציפית בגרסת vitl14 או המרות של nielsr. המערכת מפרקת את הווידאו לפריימים בעזרת OpenCV, מעבירה כל תמונה דרך המודל להערכת מרחקים יחסיים, ומחברת הכל בחזרה לקובץ וידאו חדש.

בממשק יש גם תיקיית דוגמאות מובנית עם סרטונים מוכנים מראש שנשמרו בנתיב המקומי, כך שאפשר לראות את התוצאה בלי לחכות לעיבוד של קובץ אישי.

מתאים ל

• בדיקת עומק בווידאו

  הערכת תפיסת המרחב של סרטונים קצרים ללא צורך בהתקנת ספריות במחשב.

• השוואת גרסאות מודל

  בחינת ההבדל בין גרסאות vits הקלה ל־vitl הכבדה על אותם פריימים.

• הכנת חומרים לתלת ממד

  חילוץ מפות עומק מרצף תמונע עבור אפקטים גרפיים או שכבות וידאו.

איפה זה נופל

הבעיה המיידית היא הסטטוס: היישום נמצא במצב BUILD_ERROR, כך שאי אפשר להריץ אותו כרגע בעמוד. מעבר לכך, הקוד מעבד את הווידאו פריים אחר פריים בלי מנגנון עקיבה או החלקה ייעודי לזמן, מה שעלול ליצור הבהובים בין תמונות עוקבות בסרטונים מהירים.

איך משתמשים

בוחרים סרטון, מסמנים את גרסת המודל הרצויה ולוחצים על Submit. התהליך מוגדר לרוץ על חומרת zero-a10g שמקצה כרטיס גרפי בעת הצורך כדי להאיץ את עיבוד הפריימים. כרגע לא תגיעו לשלב הזה כי היישום תקוע במצב של שגיאת בנייה ולא עולה בדפדפן.

הרישיון

הקוד והפרויקט מפורסמים תחת רישיון apache-2.0, שמאפשר שימוש חופשי וגם מסחרי. לגבי הסרטונים שאתם מעלים, הם נשמרים כקבצים זמניים בשרת בזמן הריצה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗