ChronoDepth

מה זה

אתם מעלים קטע וידאו יחיד דרך הדפדפן, והכלי מחזיר וידאו צבוע שממחיש את מפת העומק יחד עם קבצי התוצאה להורדה. המערך כולל דוגמאות וידאו מוכנות מראש ששמורות בתיקיית הדוגמאות של הממשק ומאפשרות לראות את התוצאות בלי להעלות קובץ משלכם.

מאחורי הקלעים רץ שילוב בין המודל ChronoDepth-v1 לבין מודל הדיפוזיה של stabilityai מדגם stable-video-diffusion-img2vid-xt. הרעיון במחקר הוא לקחת את הידע שקיים במודלי וידאו מבוססי דיפוזיה כדי לייצר הערכת עומק עקבית בין פריים לפריים, ולא להסתפק בחישוב סטטי של תמונה בודדת שגורם להבהובים.

מתאים ל

• הערכת עומק לווידאו

  הפקת רצף עומק עקבי מקובץ וידאו קיים לשימוש בשחזור סצנות.

• בדיקת תוצאות מחקר

  צפייה בדוגמאות מרונדרות מראש כדי לבחון את המאמר בלי התקנה.

• הורדת קבצי עומק

  חילוץ קבצי העומק והווידאו הצבוע לעיבוד נוסף בתוכנות תלת מימד.

איפה זה נופל

הבעיה המיידית היא שההדגמה מוגדרת במצב תקלה ולא תרוץ לכם בדפדפן כרגע. מעבר לזה, המודל מבצע שינוי גודל לרזולוציה מקסימלית מסוימת בקוד, כך שאיכות הווידאו המקורי לא תישמר במלואה. מי שרוצה לבדוק את הביצועים בפועל יצטרך לקחת את הקוד מהמאגר ולהריץ אותו באופן עצמאי.

איך משתמשים

נכנסים לממשק, מעלים וידאו לתיבת הקלט או בוחרים מתוך הדוגמאות המוכנות, ולוחצים על כפתור השליחה. יש גם כפתור איפוס למקרה שרוצים להתחיל מחדש. הממשק מציג פס התקדמות בזמן העיבוד, ופועל על תשתית Zero-A10G של Hugging Face שמקצה כרטיס גרפי בעת ההרצה. עם זאת, אין צורך להמתין כרגע כי המופע בדפדפן תקוע בשגיאת הרצה.

הרישיון

הפרויקט מפורסם תחת רישיון cc-by-4.0. הרישיון הזה מתיר שימוש חופשי ושיתוף, כולל שימוש מסחרי, בתנאי שנותנים קרדיט מתאים ליוצרים המקוריים.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗