OmniCorpus-YT
קוד פתוחOpenGVLabcc-by-4.02024-08-30
עשרה מיליון מסמכים רב מודליים שמשלבים כתוביות וסימוני זמן של פריימים מתוך יוטיוב. המאגר נותן מענה למי שמאמן מודלים שצריכים להבין טקסט ותמונה ברצף טבעי.
- 1,400הורדות בחודש
- 16לייקים
מה זה
המאגר כולל עשרה מיליון רשומות המבוססות על סרטוני יוטיוב. כל רשומה מייצגת מסמך שבו טקסט וכתוביות שזורים לצד סימוני זמן של פריימים מתוך הווידאו, במבנה של רצף משולב. הרשומות לא מכילות את קובצי הווידאו או התמונות עצמן, אלא מזהה סרטון, רשימת מחרוזות של פסקאות טקסט מתוך הכתוביות, ורשימת חותמות זמן עבור פריימי מפתח מתאימים.
החלק הזה הוא תת מאגר מתוך פרויקט רחב יותר שכולל גם נתונים מסריקות רשת של קומון קרול ומקורות רשת בסינית. כאן הדגימה מתמקדת אך ורק בפלטפורמת יוטיוב, כשהתמונות נדגמות כפריימים מתוך הסרטונים והטקסט נאסף מהכתוביות שלהם. היוצרים שחררו קוד לסינון ולחילוץ התוכן במאגר הגיטהאב שלהם, אך המאגר הנוכחי מחזיק רק את המטא דאטה והאינדקס הדרוש כדי לשחזר את הרצף המולטימודלי המלא.
מתאים ל
- אימון מקדים של מודלי שפה
שילוב נתוני תמונה וטקסט ברצף לשיפור יכולות למידה בהקשר של מודלים רב מודליים.
- אחזור תמונה לפי טקסט ארוך
בניית מערכות חיפוש רב מודליות שמאתרות פריימים מתוך פסקאות שלמות ולא רק ממשפטים קצרים.
- מחקר על אצירת נתונים
שימוש במטא דאטה של הסרטונים לפיתוח שיטות סינון ודגימה של תוכן רב מודלי בקנה מידה גדול.
איפה זה נופל
הבעיה המרכזית היא שהמאגר לא מכיל תמונות. אתם מקבלים רק חותמות זמן ומזהי יוטיוב, מה שאומר שתצטרכו להוריד את הווידאו בעצמכם, להתמודד עם סרטונים שנמחקו או נחסמו ברשת, ולדגום את הפריימים לבד. מבחינת שפה, הדאטהסט הזה מוגדר באנגלית בלבד ואין בו עברית. בנוסף, איכות הטקסט מוגבלת לאיכות של כתוביות יוטיוב, שלעיתים קרובות נוצרות אוטומטית וסובלות משגיאות תמלול, היעדר פיסוק או חוסר התאמה מדויק בין מועד הדיבור לפריים המוצג.
שאלות
נפוצות
האם המאגר כולל את קובצי התמונות עצמם?
לא. המאגר כולל רק מזהי סרטונים מיוטיוב, חותמות זמן של פריימים ואת הטקסט מהכתוביות. כדי להשתמש בתמונות לאימון, תצטרכו להוריד את הסרטונים מיוטיוב ולחתוך את הפריימים לפי הזמנים שמצוינים בקבצים.
האם מותר להשתמש בדאטהסט לפיתוח מסחרי?
הרישיון של המאגר הוא סי סי בי וואי 4.0, שמאפשר שימוש מסחרי עם מתן קרדיט. יחד עם זאת, החוקרים מציינים במפורש כי השימוש כפוף לתנאי השימוש של יוטיוב, ולכן עליכם לוודא שהורדת הסרטונים עומדת בכללים שלהם.
האם יש במאגר תוכן בעברית?
המאגר מוגדר רשמית עבור השפה האנגלית בלבד. אם אתם מחפשים לאמן מודלים שמשלבים עברית ווידאו, תצטרכו לאסוף או לסנן מקורות אחרים.
למה קריאה רגילה עם פנדס נכשלת?
הקבצים מכילים רשימות ומבנים מקוננים שיוצרים שגיאות בטעינה ישירה. היוצרים ממליצים להשתמש בספריית פאסט פארקט או לטעון את הנתונים במנות כדי לפרק את שדות הג'ייסון בצורה תקינה.
איך טוענים
הנתונים מחולקים בין 89 קובצי פארקט שונים, ללא צורך בבקשת גישה מיוחדת להורדה. קריאה רגילה דרך פנדס עלולה להיכשל בגלל המבנה המקונן של השדות, ולכן ההמלצה הרשמית היא להשתמש בספריית פאסט פארקט או לעבוד בקריאת מקטעים. בכל שורה תמצאו את מזהה הסרטון, ושני שדות בינאריים של תמונות וטקסטים שמקודדים כמחרוזות ג'ייסון. פריקת המידע מציגה רשימות שבהן מופיעים ערכי נאל לצד חותמות זמן של פריימים או פסקאות טקסט, בהתאם לסדר הופעתם בווידאו. כדי להגיע לתמונות בפועל, תצטרכו להוריד את הסרטונים מיוטיוב ולדגום את הפריימים לפי הזמנים שברשימה.
from datasets import load_dataset
ds = load_dataset("OpenGVLab/OmniCorpus-YT")הרישיון
המאגר מופץ ברישיון סי סי בי וואי 4.0 שמתיר שימוש מסחרי, מחקר והפצה, כל עוד ניתן ייחוס מתאים ליוצרים. עם זאת, תנאי השימוש של הפרויקט דורשים ציות לתנאי השימוש של יוטיוב עצמה. אימון מודל על הנתונים אפשרי, אך האחריות לזכויות היוצרים של הסרטונים והכתוביות שנמשכו מיוטיוב חלה עליכם.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס