CameraBench
קוד פתוחsyCencc-by-4.02025-04-23
מאגר לבדיקת היכולת של מודלי שפה ותמונה להבין תנועות מצלמה בסרטונים. הוא כולל סרטוני תצוגה קצרים לצד שאלות, תיאורים ותיוגים מומחים של תנועה במרחב.
- 2,668הורדות בחודש
- 37לייקים
מה זה
המאגר מכיל קובץ נתונים בשם test.jsonl, טבלת מטא-דאטה בשם videos.csv ותיקיית אנימציות GIF המציגות קטעי וידאו קצרים. החומרים מיועדים לבחינת משימות ויזואליות של מענה על שאלות בנוגע למסלול הצילום, למשל האם המצלמה מתקרבת, יורדת או עוקבת אחרי האובייקט מהצד.
במאגר הנוכחי זמין בעיקר סט הבדיקה שכולל מעל אלף סרטונים עם תיוגים של מומחים ותיאורי טקסט. החוקרים מציינים שיש להם גם סט אימון עם כאלף וארבע מאות קטעים מתויגים נוספים, אך הוא אינו זמין להורדה ישירה בעמוד זה אלא בפנייה ישירה במייל.
הסרטונים המקוריים עצמם אינם מופצים מחדש באופן פומבי אלא רק קובצי תצוגה מקדימה כדי להדגים את הטקסונומיה והתיוג. מי שזקוק לקובצי הווידאו המקוריים המלאים לצורכי מחקר צריך ליצור קשר ישיר עם החוקרים במייל שמפורסם בתיעוד.
מתאים ל
- הערכת מודלי וידאו
בדיקת היכולת של מודלי ראייה להבחין בתנועות מצלמה כמו זום, ירידה או מעקב.
- מענה על שאלות בווידאו
בחינת ביצועי מודלים במשימות VQA מבוססות תנועה וגאומטריה מרחבית.
- השוואת מודלים לאלגוריתמי SfM
מדידת הפער בין מודלי שפה ותמונה לבין שיטות קלאסיות של שחזור גאומטרי.
איפה זה נופל
הנתונים כוללים קטעי וידאו קצרים בפורמט GIF בלבד, ללא הקבצים המקוריים ברזולוציה מלאה. השאלות והתיאורים מופיעים באנגלית בלבד ואין תמיכה בעברית. בנוסף, מדובר רק בסט מבחן חלקי, כך שמי שמתכנן לאמן מודל ולא רק לבחון מודל קיים ייתקל במחסור בנתוני אימון זמינים להורדה.
שאלות
נפוצות
האם המאגר מתאים לאימון מודלים מאפס?
לא. המאגר מכיל רק את סט המבחן של הבנצ'מרק, ללא סט אימון פומבי מלא. החוקרים שומרים כאלף וארבע מאות דוגמאות אימון אצלם, וצריך לפנות אליהם במייל כדי לבקש גישה אליהן.
האם יש במאגר סרטונים מלאים באיכות גבוהה?
לא. המאגר מציע רק תצוגות מקדימות של הסרטונים בפורמט GIF כדי להדגים את התנועות והתיוגים. היוצרים נמנעים מהפצה פומבית של הסרטונים המקוריים, אך שומרים עותק מקומי לצורכי מחקר.
האם מותר להשתמש בדאטהסט לפיתוח מסחרי?
הרישיון המוצהר בריפו הוא cc-by-4.0 שמתיר שימוש מסחרי עם ייחוס. יחד עם זאת, הסרטונים עצמם שייכים ליוצרי המקור שלהם ולא נמסרו ברישיון פתוח מלא, מה שמחייב זהירות בשימוש מסחרי.
האם הנתונים כוללים תמיכה בשפה העברית?
לא. כל השאלות, התשובות והתיוגים של תנועות המצלמה נכתבו באנגלית בלבד.
איך טוענים
טוענים את קובצי הנתונים ישירות מקובצי ה־jsonl וה־csv, לצד תיקיית ה־GIF שכוללת מעל אלף קבצים. אין צורך באישור גישה מיוחד כדי להוריד את סט המבחן והתצוגות המקדימות מהעמוד. כדי לעבוד עם קובצי הווידאו המקוריים או לקבל גישה לחלוקת האימון, נדרש תיאום במייל מול החוקרים.
from datasets import load_dataset
ds = load_dataset("syCen/CameraBench")הרישיון
המאגר מוגדר תחת רישיון cc-by-4.0 שמתיר שימוש מסחרי, שינוי והפצה, כל עוד נותנים ייחוס מתאים ליוצרים. עם זאת, היוצרים מצהירים במפורש שהם אינם מפיצים מחדש את קובצי הווידאו המקוריים ומציעים רק תצוגה מקדימה, כך שזכויות היוצרים של הסרטונים עצמם עשויות להיות כפופות להגבלות של יוצרי המקור.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס