rollingdepth

מה זה

התהליך פשוט למדי. אתם מעלים קובץ וידאו בחלון השמאלי או בוחרים מתוך הדוגמאות המוכנות, ולוחצים על כפתור ההפעלה. בצד ימין מקבלים שני סרטוני תוצאה במקביל, שכוללים ייצוג ויזואלי צבוע של העומק לאורך הזמן.

מאחורי הקלעים רץ צינור עיבוד בשם RollingDepthPipeline שנשען על ספריות Diffusers ומשפחת מודלי Stable Diffusion. הרעיון כאן הוא לייצר עקביות של עומק בין פריימים עוקבים בלי לאמן מודל וידאו כבד מאפס, אלא על ידי ניצול מודלים קיימים ועיבוד מרובה תהליכים לצביעת הנתונים.

מתאים ל

• הפקת מפות עומק מווידאו

  חילוץ עומק רציף מתוך קטעי וידאו לשימוש באפקטים חזותיים או בשלבי פוסט פרודקשן.

• הכנת דאטה לעיבוד תלת-ממד

  יצירת שכבות עומק עבור מודלים שמשחזרים סצנות תלת-ממדיות מתוך תנועת מצלמה.

• בדיקת ביצועי שיטה ללא אימון

  בחינה מעשית של איכות העומק שמפיקים מודלי תמונה על רצף פריימים לפני שרצים להרים שרת ייעודי.

איפה זה נופל

הממשק לא חושף כפתורי שליטה ידניים ברזולוציה, במספר הפריימים לשנייה או בסוג הצביעה של העומק. אם הווידאו שלכם ארוך או כבד מדי, ההקצאה הזמנית של השרת עלולה להיקטע באמצע. בנוסף, הדוגמאות נשמרו מראש במטמון ורצות מיד, מה שלא משקף את זמן העיבוד האמיתי של קובץ חדש שאתם מעלים מהמחשב.

איך משתמשים

גוררים סרטון לנגן הקלט או מקליקים על אחת הדוגמאות השמורות, ולוחצים Generate. העיבוד רץ על מאיץ גרפי מסוג zero-a10g דרך ספריית spaces. זה אומר שהחומרה מוקצית לפי דרישה, כך שייתכן עיכוב קל של כמה שניות עד שהמעבד הגרפי מתעורר, אבל זמן הריצה עצמו מהיר ביחס לעיבוד וידאו מקומי.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש חופשי, שינוי של הקוד ואפילו שימוש מסחרי, כל עוד שומרים על תנאי הרישיון והקרדיט למפתחים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗