VALID
קוד פתוחontocordרישיון לא דווח2024-12-05
המאגר מאגד קטעי וידאו, תמונות, שמע ותמלילים מיוטיוב בפורמט מעורבב ומיושר. הוא מיועד למי שמפתח מודלים להבנה מולטימודלית ורוצה ללמד קשרים בין צירים שונים.
- 2,846הורדות בחודש
- 18לייקים
מה זה
הנתונים מבוססים על בערך 720,000 סרטוני יוטיוב שנאספו ברישיון Creative Commons. כל רשומה כוללת מבנה מעורבב שמתחיל במדיה וממשיך בטקסט, עם פרימי וידאו שנשמרו כתמונות PNG, קטעי שמע בפורמט OGG באורך של עד 10 שניות, תיאורים ותמלילים. התמונות עברו סינון phash למניעת כפילויות סטטיות וקיבלו תיאורים שנוצרו באמצעות Florence-2. השמע מתומלל בעזרת Whisper לקטעים שאינם באנגלית, או באמצעות ה־ASR המקורי של יוטיוב עבור אנגלית.
בסך הכל המאגר מתוכנן להכיל כ־7,000,000 רשומות, כ־15,000,000 תמונות וכ־30,000,000 קטעי שמע, שמסתכמים בכ־14TB. החומר מחולק לכ־12K קובצי שארד, כאשר כל שארד מכיל קובץ parquet עם כ־600 רשומות וקובץ מדיה מסוג tar.gz תואם. הסינון הבטיחותי בכרטיס הוגדר כקל בלבד, והתמקד בהסרת רשומות שהכילו שיעור גבוה של מילים הקשורות לילדים יחד עם מילים הקשורות למין או אלימות.
מתאים ל
- אימון ייצוג רב-אופני
לימוד קשרים והתאמות בין תמונות, שמע וטקסט במודלים כמו CLIP או CLAP.
- למידת קשרי שמע-וידאו
פיתוח מודלים לתפיסת יחסים זמניים בין צלילים ומוזיקה לפרימי וידאו.
- מחקר על דאטה מעורבב
בדיקת יכולת המודל להתמודד עם רצף משולב של תמונות מרובות, שמע ותמלול.
איפה זה נופל
היוצרים מבהירים שהמאגר לא מתאים למשימות יצירה, משום שאיכות המדיה המקורית מיוטיוב משתנה ברזולוציה ובבהירות. יש כאן גם הטיה מובנית, קטעי השמע הם רב-לשוניים אבל הטקסט המלווה הוא באנגלית בלבד. בנוסף, אף שהסרטונים סומנו ביוטיוב כ־CC BY, אין ערובה שלמעלים המקוריים אכן היו הזכויות להפיץ אותם. מפתחים בישראל צריכים לדעת שאין התייחסות ספציפית לעברית בכרטיס, והשמע בעברית, אם קיים, עבר תמלול של Whisper בלבד.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מסחרי?
הרישיון הרשמי בדף לא דווח, אף שבטקסט נכתב שהסרטונים מבוססים על CC BY ביוטיוב. היוצרים מסירים כל אחריות ואינם מבטיחים שהמעלים המקוריים החזיקו בזכויות, כך ששימוש מסחרי כרוך בסיכון משפטי ישיר.
כמה שטח אחסון צריך כדי לעבוד איתו?
לפי הכרטיס המאגר המלא מגיע לכ־14TB, המחולקים לכ־12K שארדים של קובצי parquet וקבצי tar.gz. כרגע מדובר בגרסת תצוגה מקדימה ובהעלאה חלקית, אך כדאי להיערך מראש לתשתית גדולה.
האם יש במאגר תוכן או תמלול בעברית?
הכרטיס מציין שהשמע כולל שפות מרובות שתומללו ב־Whisper, אך אינו מפרט שמות של שפות ספציפיות. הטקסט הראשי של כל רשומה מורכב מאנגלית בלבד, ולכן אין ערובה לכמות או איכות הנתונים בעברית.
איך אספו וסיננו את הנתונים?
הנתונים נאספו מיוטיוב מתוך מאגר Grass, וקוטלגו לפי קטעי שמע של עד 10 שניות ופריימים עם פילטר phash. הסינון הבטיחותי היה מינימלי והסיר רק שילובים חריגים של מילים הקשורות לילדים עם תכנים אלימים או מיניים.
איך טוענים
הגישה למאגר פתוחה ללא צורך באישור מוקדם, אך כרגע מדובר בגרסת תצוגה מקדימה שנמצאת עדיין בתהליך העלאה, עם 1,113 קבצים זמינים. הנפח הכולל מתוכנן להגיע לכ־14TB, כך שחובה להכין אחסון ייעודי ותשתית הזרמה מהירה. המידע מחולק לקובצי parquet המכילים את המטא-דאטה, היישור בין המדיות והטקסטים, לצד ארכיוני tar.gz שמחזיקים את קובצי ה־PNG וה־OGG. השדות המרכזיים כוללים את תיאורי Florence-2, תמלולי ה־ASR וטקסט מקושר באנגלית.
from datasets import load_dataset
ds = load_dataset("ontocord/VALID")הרישיון
בעמוד המאגר לא דווח רישיון רשמי בשדה המיועד לכך, אך בטקסט נטען שהסרטונים נאספו תחת CC BY ומשותפים בהתאם לזכויות אלה ולעקרונות שימוש הוגן. היוצרים מסירים כל אחריות לגבי הפרת זכויות או התאמה למטרה מסוימת. היעדר רישיון מוגדר מציב סיכון משפטי, במיוחד אם מתכננים לאמן מודל לשימוש מסחרי.