cotracker — הדגמה
קוד פתוחfacebookcc-by-nc-4.02023-08-28
מעלים סרטון, מסמנים נקודות ספציפיות על גבי פריים, ומקבלים מעקב רציף אחריהן לאורך התנועה. הכלי מיועד לחוקרים ולמפתחים שבודקים אלגוריתמים של מעקב נקודות בווידאו.
- 390 MBמשקל הקבצים
- —הורדות בחודש
- 279לייקים
מה זה
היישום מציג את CoTracker3, מודל שעוקב אחר נקודות מרובות בתוך וידאו ומבוסס על אימון באמצעות תיוג מדומה של סרטונים אמיתיים. אתם מעלים קובץ וידאו בפורמט mp4 או בוחרים מתוך שמונה דוגמאות מובנות בממשק, הכוללות למשל דב, תפוח, מצנח רחיפה, חתול, כרית, דובי ותרמיל.
לאחר טעינת הסרטון, אפשר ללחוץ ישר על מעקב כדי לעקוב אחרי רשת נקודות כללית, או לבחור פריים בסליידר ולהקליק על נקודות ספציפיות שרוצים לנטר. הפלט המתקבל הוא קובץ וידאו מעובד שמציג את מסלולי התנועה של הנקודות לאורך הפריימים.
מתאים ל
- מעקב אחר תנועת עצמים
סימון נקודות על גבי חפץ נע כדי לראות אם המודל מצליח להחזיק את המעקב לאורך כל הסרטון.
- בדיקת רשת נקודות מלאה
הפעלת מעקב אוטומטי על רשת צפופה כדי לבחון הערכת תנועה ועיוותים בווידאו.
- השוואת ביצועים מהירה
הרצת הסרטונים המוכנים מראש בממשק כדי לראות את איכות המעקב של CoTracker3 בלי להעלות קבצים.
איפה זה נופל
נכון לעכשיו ההדגמה נמצאת במצב של תקלת ריצה, RUNTIME_ERROR, כך שהיא לא פעילה בדפדפן ולא תפיק תוצאות עד שהיוצרים יתקנו אותה. בנוסף, הקוד כולל מגבלת פריימים מוגדרת מראש, ואם הסרטון ארוך מדי תקבלו אזהרה שהמערכת משתמשת רק בפריימים הראשונים. אי אפשר לקבל פה קואורדינטות גולמיות כקובץ דאטה, אלא רק סרטון מרונדר לצפייה.
שאלות
נפוצות
האם הכלי עובד עכשיו בדפדפן?
לא, הדף מדווח כרגע על שגיאת זמן ריצה ומציג מצב של תקלה. כדי להשתמש בו צריך לחכות שיתוקן, או להוריד את הקוד ולהריץ אותו בסביבה מקומית.
האם השירות כרוך בתשלום?
השימוש בהדגמה באתר הוא חינמי לגמרי ואינו דורש תשלום. עם זאת, הרישיון הוא לא מסחרי, כך שאי אפשר להשתמש בתוצרים לפעילות עסקית.
האם אפשר להעלות סרטונים באורך מלא?
לא, הממשק כולל הגבלה מובנית על כמות הפריימים. אם הסרטון ארוך מדי, המערכת תקצוץ אותו ותעבד אך ורק את החלק הראשון.
מה מקבלים בסוף העיבוד?
הממשק מייצר ומציג נגן עם קובץ וידאו חדש, שעליו מצוירות נקודות המעקב והמסלולים שלהן. לא מקבלים כאן קובץ טקסט או מערך עם המספרים והקואורדינטות.
איך מריצים
טוענים וידאו ולוחצים Submit, מה שסוגר את חלון ההעלאה ופותח את אפשרויות המעקב. בוחרים פריים בעזרת הסליידר, מסמנים נקודות בעזרת העכבר, ואם טועים יש כפתורי ביטול ומחיקה. לחיצה על Track שולחת את הריצה לחומרת a10g-large דרך Spaces, שזה מעבד גרפי חזק למדי. עם זאת, אין צורך להתחבר או להירשם כדי לנסות את הממשק.
pip install -U huggingface_hub hf download facebook/cotracker
הקבצים
4 קבצים במאגר, 390 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הקוד וההדגמה מפורסמים תחת רישיון cc-by-nc-4.0. המשמעות היא שהשימוש מותר אך ורק למטרות לא מסחריות, כמו מחקר או התנסות אישית. שימוש בתוצרים או במודל במוצר מסחרי אסור.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא