Video-Detailed-Caption
קוד פתוחwchaiapache-2.02024-09-02
מאגר שמספק תיאורי וידאו מפורטים במיוחד מכמה זוויות שונות. הוא מיועד למי שרוצה להעריך או לאמן מודלים על פירוט של תנועות מצלמה, רקע ואובייקטים.
- 879הורדות בחודש
- 17לייקים
מה זה
המאגר מציע סט נתונים שנבנה כדי לפתור את הבעיה של תיאורי וידאו שטחיים וקצרים. המפתחים אספו קטעי וידאו מחמישה מקורות מוכרים: Panda-70M, Ego4D, Mixkit, Pixabay ו־Pexels. על בסיס הסרטונים האלה הם הריצו תהליך מובנה שיצר תיאורים עשירים וארוכים בהרבה ממה שהיה מקובל בבנצ'מרקים קודמים בתחום.
המבנה הפנימי מחלק את התיאור של כל וידאו לכמה קטגוריות נפרדות. יש תיאור תנועות מצלמה שמתמקד בזוויות, שוטים ואפקטים, תיאור קצר שמתמצת את הפעולה המרכזית והאווירה במשפט אחד, ותיאור רקע שמפרט מיקום, מזג אוויר וסביבה. בנוסף יש תיאור מעמיק של האובייקט המרכזי והתנועות שלו לאורך הפריימים, ותיאור מפורט כולל שמחבר את כל החלקים יחד. החלוקה הזו מופיעה בקבצים נפרדים בתיקיית הבדיקה ומאפשרת לבחון כל היבט של המודל בנפרד.
מתאים ל
- הערכת מודלי וידאו
בדיקת היכולת של מודל רב-מודאלי לתאר במדויק תנועות מצלמה, שינויי רקע והתרחשויות מורכבות בווידאו.
- כוונון מודלים לכתוביות
אימון עדין של מודלי שפה ווידאו כדי שייצרו תיאורים מפורטים במקום משפטים קצרים וכלליים.
- מדידת ביצועים לפי תחום
שימוש בקובצי ה־QA הנפרדים כדי לאתר נקודות תורפה של המודל בזיהוי אובייקטים לעומת הבנת תנועת המצלמה.
איפה זה נופל
כל הטקסטים במאגר הם באנגלית בלבד, כך שאין כאן שום תמיכה מובנית בעברית או בניואנסים מקומיים. המאגר כולל בין אלף לעשרת אלפים רשומות, מה שהופך אותו לכלי שמתאים בעיקר לבנצ'מרק והערכה, או לכוונון עדין מאוד ספציפי, ולא לאימון מלא מאפס. מקורות הווידאו מגוונים אך מגיעים ממאגרי סטוק ודאטהסטים קיימים, ולכן יש בהם את ההטיות המובנות של אותם מקורות מבחינת איכות, תאורה וסגנון צילום.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. הרישיון המדווח הוא apache-2.0, שמאפשר שימוש מסחרי, שינוי והפצה ללא תשלום תמלוגים. התנאי העיקרי הוא שמירת הייחוס ליוצרים המקוריים וצירוף תנאי הרישיון. עם זאת, יש לוודא שרישיונות סרטוני המקור מאפשרים את השימוש המתוכנן שלכם.
האם הדאטהסט כולל תמיכה בעברית?
לא. כל התיאורים והנתונים הטקסטואליים במאגר נכתבו באנגלית בלבד. אם המוצר שלכם מיועד לשוק המקומי, תצטרכו לתרגם את הנתונים או להשתמש בו להערכת יכולות ראייה ממוחשבת כלליות בלבד.
מאיפה הגיעו הסרטונים שמנותחים במאגר?
הנתונים נבנו על גבי קטעי וידאו שנלקחו מחמישה מאגרים שונים: Panda-70M, Ego4D, וכן אתרי הווידאו החופשיים Mixkit, Pixabay ו־Pexels. התיאורים המפורטים הופקו באמצעות תהליך ייעודי שחילק את הניתוח לכמה נקודות מבט שונות.
מה ההבדל בין המאגר הזה למאגרי כתוביות וידאו רגילים?
רוב המאגרים מסתפקים במשפט בודד ושטחי שמתאר מה קורה בסרטון. כאן החוקרים פירקו את התיאור לרכיבים מוגדרים כמו עבודת מצלמה, פרטי רקע, ואובייקט מרכזי, נוסף על תיאור ארוך ומלא שנועד לאפשר שחזור מפורט של הסצנה.
איך טוענים
טוענים את הקבצים ישירות דרך ספריית הדאטהסטים של Hugging Face או מורידים את קובצי ה־JSONL מהמאגר. אין פה צורך באישור גישה מיוחד, והקבצים זמינים להורדה מידית. המאגר מכיל 16 קבצים, כולל קובץ VDC_1k.jsonl ותיקייה בשם VDCScore_qa עם חלוקה לפי קטגוריות כמו רקע, מצלמה ואובייקט מרכזי. לפני שמתחילים כדאי לוודא שקטעי הווידאו עצמם נגישים לכם מהמקורות המקוריים.
from datasets import load_dataset
ds = load_dataset("wchai/Video-Detailed-Caption")הרישיון
המאגר מפורסם תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי חופשי, שינוי של הנתונים והפצה שלהם, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון. אפשר להשתמש בו כדי לאמן מודלים מסחריים בלי חובה לחשוף את הקוד שלכם או לשחרר את המודל תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים