Vript_Chinese
קוד פתוחMutonixרישיון לא דווח2024-06-10
המאגר כולל סרטונים מיוטיוב מחולקים לסצנות עם תיאורים בסינית בסגנון תסריט קולנועי. הוא מיועד למי שמאמן מודלי וידאו וזקוק למידע מפורט על תנועות מצלמה, זוויות צילום ותמלול קולי.
- 1,522הורדות בחודש
- 16לייקים
מה זה
הנתונים מבוססים על 44.7 אלף סרטונים ברזולוציה גבוהה מיוטיוב, שפורקו לכ־293 אלף מקטעים קצרים. במקום לתת תיאור כללי בלבד, החוקרים תייגו כל סצנה במבנה של תסריט הכולל את סוג השוט, תנועת המצלמה, כותרת ותיאור תוכן של מעל 200 תווים בסינית, לצד תמלול שמע אוטומטי וכותרת הסרטון המקורי.
המבנה מחולק לקובצי מטא-דאטה, קובצי טקסט עם התיאורים בפורמט ג'ייסון, תיקיית סרטונים מלאים שאינם חתוכים ותיקייה נפרדת של קליפים חתוכים לפי סצנות. כל קליפ מלווה בנתוני זמני החיתוך המדויקים שלו ובתמלול הקולי שנלקח ממנו.
מתאים ל
- אימון טקסט לווידאו
לימוד מודלי יצירה לשלוט בתנועות מצלמה וסוגי שוטים מורכבים לפי הנחיות טקסט.
- תיוג סצנות אוטומטי
פיתוח מודלים לסיווג וידאו וזיהוי תנועות מצלמה מתוך קטעים חזותיים.
- מענה על שאלות בווידאו
אימון מערכות הבנה רב-מודאליות שמצליבות בין תמלול קולי למתרחש בתמונה.
איפה זה נופל
הטקסט כולו בסינית בלבד, כך שאין כאן שום כיסוי לעברית או לאנגלית ללא תרגום מכונה מקדים. בנוסף, מקור הסרטונים הוא יוטיוב והם מייצגים תוכן רשת ציבורי, על כל ההטיות המובנות שיש בפלטפורמה. יש גם מקרים שבהם שדה השלמות מציין שלא כל המקטעים בסרטון תויגו בפועל, מה שמחייב סינון של רשומות חלקיות לפני אימון.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפרויקט מסחרי?
לא, הרישיון שהוגדר בתיעוד מתיר שימוש למחקר אקדמי בלבד. נאסר כל שימוש מסחרי, מסחר בנתונים או הפצה שלהם. אם אתם בונים מודל שמיועד למוצר רווחי, המאגר הזה לא מתאים עבורכם מבחינה משפטית.
כמה מקום אחסון צריך כדי להוריד את הכל?
הנתונים כבדים מאוד ודורשים קרוב ל־700 גיגה-בייט של שטח דיסק פנוי. תיקיית הסרטונים המלאים שוקלת כ־300 גיגה-בייט ותיקיית הקליפים החתוכים תופסת עוד 365 גיגה-בייט. אפשר לחסוך מקום ולהוריד רק את קובצי הטקסט והתמלול אם אתם לא מאמנים ישירות על הפיקסלים.
האם יש במאגר תמיכה בעברית?
אין במאגר עברית בכלל. כל התיאורים, הכותרות ותמלולי השמע מופיעים בסינית בלבד. אם המטרה שלכם היא לעבוד בעברית, תצטרכו לתרגם את כל קובצי הטקסט בעצמכם לפני שתתחילו לעבוד.
איך החוקרים אספו ותייגו את המידע?
החוקרים הורידו סרטונים מיוטיוב, חילקו אותם לקטעים קצרים לפי סצנות וחילצו את התמלול הקולי מהשמע. כל סצנה תויגה ידנית בפורמט של תסריט קולנועי שכולל פירוט על תנועת המצלמה, סוג הצילום ותיאור מפורט של המתרחש באורך של מעל 200 תווים בסינית.
איך טוענים
הורדת החומר דורשת היערכות תשתיתית כבדה, מכיוון שתיקיית הסרטונים השלמים שוקלת כ־300 גיגה-בייט ותיקיית הקליפים החתוכים שוקלת כ־365 גיגה-בייט. הקבצים מפוצלים למאות ארכיוני זיפ של 200 סרטונים כל אחד, כך שאין צורך למשוך הכל בבת אחת. התיאורים עצמם נגישים בקובצי ג'ייסון וכוללים שדות מפתח כמו מזהה הווידאו מיוטיוב, תנועות מצלמה, שוט, תמלול ואינדיקטור שלמות שמציין אם כל הקטעים בסרטון עברו תיוג. הגישה למאגר פתוחה ללא אישור ידני.
from datasets import load_dataset
ds = load_dataset("Mutonix/Vript_Chinese")הרישיון
החוקרים מגדירים רישיון לשימוש אקדמי בלבד, שאוסר במפורש כל שימוש מסחרי, שכפול או הפצה של הנתונים. המקורות נשענים על סרטוני יוטיוב השייכים ליוצרים מקוריים, ולכן אי אפשר להשתמש במאגר לפיתוח מוצר מסחרי או מודל שיימכר בשוק.