unimatch

מה זה

אתם מעלים שתי תמונות ובוחרים משימה: flow או stereo. במצב זרימה מעלים שני פריימים עוקבים מתוך וידאו, ובמצב סטריאו מעלים תמונת שמאל ותמונת ימין. הממשק מחזיר מפת צבעים שמציגה את התנועה בין הפריימים או את הדיספריטי של העומק.

מאחורי הקלעים רץ UniMatch, מודל שמבוסס על PyTorch ומאחד חישובי זרימה אופטית והתאמות סטריאו תחת אותה ארכיטקטורה. לפי הקוד, התוצאה עוברת המרה למפה ויזואלית דרך פונקציות תצוגה ייעודיות לזרימה ולעומק, ויש בממשק דוגמאות מובנות שאפשר לטעון בלחיצה.

מתאים ל

• הערכת תנועה בין פריימים

  בדיקת וקטורי זרימה אופטית בין שתי תמונות עוקבות מתוך וידאו.

• התאמת עומק מזוג מצלמות

  הפקת מפת דיספריטי בין תמונת שמאל לתמונת ימין של מערך סטריאו.

• בדיקת ביצועי המודל

  השוואה מהירה בין תוצאות המודל לתמונות שלכם לפני הטמעה בקוד.

איפה זה נופל

ההדגמה מקבלת רק זוגות תמונות בודדים, בלי אפשרות לעבד קובצי וידאו מלאים ברצף. היא מוציאה רק תמונת ויזואליזציה צבעונית ולא קובץ נתונים גולמי של וקטורי תנועה, כך שאי אפשר להשתמש בפלט ישירות בצינור עיבוד אחר. בגלל שהשרת מוגבל למעבד חלש, הביצועים כאן אינם מייצגים את המהירות האמיתית של המודל על כרטיס מסך ייעודי.

איך משתמשים

טוענים שתי תמונות, מסמנים ברדיו את סוג המשימה ולוחצים להרצה. אין צורך להתחבר או להירשם. ההדגמה רצה על מעבד בסיסי, cpu-basic, בלי מאיץ גרפי. זה אומר שעיבוד תמונות כבדות ייקח כמה שניות ארוכות בכל הרצה, ויכול להיווצר תור אם עוד אנשים שולחים בקשות במקביל.

הרישיון

הקוד מפורסם תחת רישיון MIT שמאפשר שימוש חופשי לחלוטין, כולל שימוש מסחרי ושינוי קוד. הקבצים שאתם מעלים עוברים דרך השרת של הדפדפן לצורך החישוב, ולכן לא מומלץ להעלות חומרים רגישים או סודיים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗