VPData
קוד פתוחTencentARCרישיון לא דווח2025-03-10
מעל 390 אלף מקטעי וידאו עם מסיכות סגמנטציה מדויקות ותיאורי טקסט צפופים. המאגר נבנה במיוחד לאימון מודלים של עריכת וידאו והשלמת אזורים חסרים בכל אורך.
- 3,113הורדות בחודש
- 21לייקים
מה זה
הנתונים מחולקים בין שתי ספקיות תוכן מרכזיות מהרשת, Pexels ו־Videovo. המאגר מציע מעל 390 אלף קטעי וידאו שמיועדים לאימון מודלים של הוספת אובייקטים, מחיקת פריטים ועריכת סצנות. הדגש כאן הוא על סגמנטציה מדויקת של אזורי המטרה יחד עם כתוביות טקסט מפורטות באנגלית שמתארות את ההתרחשות בכל קטע.
בפועל המאגר לא מחזיק את כל סרטוני המקור במקום אחד. עבור תת המאגר של Videovo, החוקרים העלו את סרטוני הגלם ישירות אל המאגר כדי לפתור בעיה של קישורים שפגו. לעומת זאת, עבור תת המאגר של Pexels, המאגר מספק קובץ נתונים מרוכז ואלפי קובצי ארכיון שמכילים את המסיכות בלבד. את סרטוני הגלם מ־Pexels צריך להוריד ישירות מהרשת באמצעות סקריפט ייעודי שהצוות כתב.
תהליך יצירת המסיכות והטקסט נשען על מודלים קיימים להבנה חזותית של תמונות ווידאו, לצד עיבוד מחדש שנעשה למאגרי בנצ'מרק ידועים כמו Davis. המבנה הפנימי מורכב מקובצי ארכיון ממוספרים, כשלכל מקטע וידאו מוצמדת סדרת מסיכות רציפה ומדויקת שמגדירה את השינויים לאורך ציר הזמן.
מתאים ל
- השלמת אזורים בווידאו
אימון מודלים שמסירים עצמים מסרטונים או משלימים מידע חסר לפי מסיכות תנועה.
- עריכת וידאו מונחית טקסט
פיתוח כלים לשינוי אובייקטים והחלפת רקעים בסרטונים באמצעות הנחיות כתובות.
- יצירת זוגות נתונים לעריכה
הפקת דאטהסטים סינתטיים של סרטוני מקור ועריכה לאימון מודלי וידאו מתקדמים.
איפה זה נופל
הנתונים מבוססים על סרטונים כלליים מהאינטרנט, והחוקרים עצמם מציינים שהם מתאימים לתרחישים רגילים ולא לצרכים תעשייתיים ספציפיים כמו תצוגות מוצר או מדידה וירטואלית. כל התיאורים כתובים באנגלית בלבד. בנוסף, ההסתמכות על הורדת חלק מסרטוני המקור בזמן אמת חושפת את הפרויקט לבעיות זמינות אם קישורים ישתנו או יימחקו בעתיד, מה שעלול לפגוע ביכולת לשחזר את הסט במלואו.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא כדאי להסתמך על זה. הרישיון לא דווח רשמית בעמוד הראשי, והחוקרים מציינים שההורדה כפופה לתנאי שימוש ללא פירוט ברור. כל עוד אין רישיון פתוח מוצהר, שימוש מסחרי עלול לחשוף אתכם להפרת זכויות יוצרים.
האם הנתונים כוללים תמיכה בעברית?
לא. כל התיאורים והכתוביות שמלווים את הסרטונים נוצרו באנגלית בלבד. אם המודל שלכם צריך לקבל הנחיות בעברית, תצטרכו לתרגם את הטקסטים או לאמן שכבת תיאום נפרדת.
כמה מקום המאגר דורש והאם מורידים אותו בבת אחת?
ההורדה מפוצלת. המאגר עצמו מכיל 1,753 קבצים שכוללים בעיקר מסיכות מכווצות ואת סרטוני Videovo, אך את סרטוני Pexels צריך להוריד עצמאית בעזרת סקריפט, תהליך שדורש נפח אחסון גדול וחיבור רשת יציב.
מה מקור הסרטונים ואיך נוצרו המסיכות?
הסרטונים נאספו מספריות הרשת Pexels ו־Videovo. המסיכות ותיאורי הווידאו נוצרו באופן אוטומטי באמצעות שילוב של מודלים עכשוויים להבנה חזותית ופילוח אובייקטים לאורך זמן.
איך טוענים
טעינת הנתונים דורשת שימוש ב־git-lfs בגלל גודל המאגר ומספר הקבצים, שעומד על 1,753 קבצים. הגישה פתוחה ואין צורך באישור ידני. אחרי שמורידים את המאגר, צריך להריץ סקריפטים של פייתון שמחלצים את ארכיוני המסיכות מתיקיות pexels_masks ו־videovo_masks, ומחלצים את סרטוני הגלם של Videovo. בנוסף, חובה להריץ סקריפט נפרד שמוריד את סרטוני המקור של Pexels לפי קובץ pexels.csv כדי לקבל סט נתונים שלם שמוכן לאימון.
from datasets import load_dataset
ds = load_dataset("TencentARC/VPData")הרישיון
הרישיון לא דווח בעמוד המאגר, אף על פי שקיים קובץ בשם License.txt במאגר עצמו. כרטיס המידע מבהיר שההורדה מהווה הסכמה לתנאי הרישיון של המקורות, אך אינו מפרט תנאים אלה. במצב כזה לא ידוע אם מותר להשתמש בנתונים למטרות מסחריות או לאמן עליהם מודל מוצרי, והשימוש בו מסוכן מבחינה משפטית עד לבירור מול TencentARC.