ucf_crime
קוד פתוחjinmang2cc0-1.02023-06-30
סרטוני מעקב של מקרי פשיעה ואירועים חריגים מול סרטוני שגרה. מי שמחפש אותו רוצה לאמן מודלים לזיהוי חריגות בווידאו בלי להוריד מראש מאגר כבד ישירות לדיסק.
- 2,191הורדות בחודש
- 19לייקים
מה זה
המאגר מציג סרטוני אבטחה מהעולם האמיתי שמחולקים לשתי קבוצות עיקריות, סרטונים שמתעדים חריגות ואירועי פשיעה מול סרטוני שגרה רגילים לחלוטין. מדובר בהמרה של הדאטהסט המקורי של UCF לפורמט WebDataset, כשהמטרה היא לאפשר עבודה נוחה עם כמויות וידאו גדולות במיוחד דרך ספריית datasets.
בפנים תמצאו 24 קבצים, רובם קובצי zip גדולים שמחלקים את החומר לחלקים שונים. יש ארבעה חלקי קבצים עבור סרטוני אנומליה, קובצי אימונים לסרטוני שגרה, קבצים ייעודיים לבדיקה של וידאו רגיל, וקבצים לסיווג אירועים. החלוקה הזו נועדה להפריד בין זמני אימון לטסט ובין התנהגות רגילה לחריגה.
כל דגימה כוללת את קובץ הווידאו עצמו בפורמט mp4 לצד קובץ json שמחזיק את שדה האירוע כתווית. המקור המחקרי מגיע ממאמר מ־2018 שעסק בזיהוי חריגות במצלמות אבטחה, וכאן הוא נארז מחדש כדי לאפשר הזרמה של התוכן בלי לפרוק מאות ג'יגה בבת אחת.
מתאים ל
- זיהוי חריגות בווידאו
אימון מודלים שמבדילים בין שגרת צילום רגילה במצלמת אבטחה לבין אירועים שדורשים התרעה מיידית.
- סיווג אירועי פשיעה
זיהוי וחלוקה של סוגי עבירות שונים מתוך צילום וידאו על בסיס התוויות שמצורפות לדגימות.
- בדיקת מודלים בהזרמה
בחינת יכולות עיבוד של קובצי וידאו כבדים דרך מנגנון סטרימינג בלי לשמור את כל המידע בדיסק המקומי.
איפה זה נופל
מצלמות האבטחה והשפה במקור מגיעות מאנגלית, כך שההקשר החזותי והסביבתי משקף מקומות שתועדו במחקר המקורי ולא בהכרח התנהגות מקומית בישראל. הנתונים מתבססים על מאמר שפורסם ב־2018, מה שאומר שהאיכות של מצלמות האבטחה בחלק מהסרטונים ישנה ורחוקה ממה שקיים בשטח כיום. לפני שמשלבים מודל כזה במערכת אבטחה אמיתית, חייבים לבדוק איך הוא מגיב לרעשים, תאורה שונה וסוגי מצלמות חדישים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מסחרי?
הרישיון בדף המאגר מוגדר כ־CC0 1.0, מה שמתיר שימוש חופשי כולל מסחרי ללא תנאי רישוי מגבילים. יחד עם זאת, מאחר שמדובר בסרטוני פשיעה שנאספו ממצלמות רשת, יש לבחון היבטי פרטיות לפני שילוב במוצר.
כמה המאגר הזה שוקל?
הכרטיס מציין שמדובר בנפח של מעל 100GB של קובצי וידאו. בגלל הגודל הזה, הוא נבנה בפורמט WebDataset שמאפשר לעבוד איתו בהזרמה במקום להוריד את כל הקבצים מראש.
האם יש במאגר נתונים בעברית או מישראל?
לא. שפת המאגר המוגדרת היא אנגלית בלבד, וצילומי האבטחה נאספו במסגרת מחקר בינלאומי ללא התאמה או תיעוד מקומי מישראל.
איך המידע נאסף במקור?
הנתונים נשענים על פרויקט UCF-Crime ממאמר אקדמי משנת 2018. יוצרי הדאטהסט הנוכחי לקחו את הסרטונים המקוריים וארזו אותם מחדש לחלקים מכווצים כדי לייעל את הטעינה שלהם.
איך טוענים
טוענים אותו ישירות דרך הספרייה הרגילה של Hugging Face עם הפקודה load_dataset, ומגדירים את השם jinmang2/ucf_crime יחד עם תצורת anomaly_detection. חובה להפעיל את מצב הסטרימינג, אחרת המחשב ינסה להוריד למעלה מ־100GB של קובצי וידאו בבת אחת. אין צורך לבקש אישור גישה מיוחד, המאגר פתוח לציבור. הדגימות מחזירות שדה של וידאו ושדה json שממנו שולפים את סוג האירוע.
from datasets import load_dataset
ds = load_dataset("jinmang2/ucf_crime")הרישיון
הרישיון המדווח כאן הוא CC0 1.0, שמשמעותו נחלת הכלל. אתם יכולים להשתמש בחומר לצרכים אישיים ומסחריים, לשנות אותו ולאמן עליו מודלים בלי חובת ייחוס ובלי דרישה לשתף את התוצרים באותו רישיון. עם זאת, בגלל שמדובר בסרטוני מעקב ממקורות שונים, שווה לבדוק את מקור הווידאו לפני שימוש מסחרי רגיש.