SpeakerVid-5M-Dataset
קוד פתוחdorniרישיון לא דווח2025-07-18
המאגר מציע מטא-דאטה עשיר לחיתוך ולניתוח של מיליוני קטעי דוברים מיוטיוב. מי שמפתח מודלים לניתוח שפת גוף, דיבור או וידאו מרובה דוברים ימצא כאן תשתית תיוג שחוסכת שבועות של עבודת סינון.
- 1,280הורדות בחודש
- 18לייקים
מה זה
הרשומות במאגר הן לא קובצי הווידאו עצמם, אלא מטא-דאטה מקיף שמפנה לסרטונים ספציפיים ביוטיוב. קובץ האינדקס מחזיק את מזהי הסרטונים ושמות המקטעים, ולצידו יש קובץ נפרד לקבוצת נתוני ה־SFT. התיוגים מחולקים לפי תיקיות: תיקיית המיזוג מכילה זמני התחלה וסיום מדויקים, משכי זמן, תיחום מרחבי של הדוברים, ומדדי איכות כמו clear scores ו־dover scores.
סביב כל מקטע יש שכבות ניתוח אוטומטיות. תמלילי דיבור עם ציוני ביטחון נמצאים בתיקיית ה־ASR, ציוני חדות לפנים ולידיים מופיעים בתיקייה ייעודית, ותיאורי וידאו מפורטים הופקו באמצעות המודל qwen-vl. התיאורים האלה מפרטים תנועות גוף, הבעות פנים, מספר אנשים בסצנה, כיוון מבט ומידת הפעילות הפיזית. תיקיית הבנצ'מרק כוללת סט מבחן של 500 סרטונים לצד קוד להערכת איכות שמע, עקביות שיחה, סינכרון שפתיים ומדדי וידאו.
מתאים ל
- אימון סנכרון שמע ווידאו
שימוש בתזמונים המדויקים ובציוני החדות כדי לאמן מודלים להתאמת תנועת שפתיים לקול.
- ניתוח מחוות ודיאלוגים
בניית מערכות לזיהוי שפת גוף בהקשר שיחתי באמצעות מקטעי שיחה מרובי משתתפים.
- הערכת מודלי וידאו
הרצת בדיקות השוואה עם סט המבחן הכולל 500 סרטונים וסקריפטים מובנים למדדי תנועה והבעה.
איפה זה נופל
החיסרון המרכזי הוא התלות ביוטיוב. סרטונים נמחקים, משתנים או נחסמים גיאוגרפית, כך ששחזור מלא של כל המקטעים המקוריים הוא כמעט בלתי אפשרי. כל התיאורים והתמלולים הופקו בכלים אוטומטיים של זיהוי דיבור ומודל ראייה, מה שמכניס רעש, הזיות שפה ושגיאות סגמנטציה. אין דיווח על השפות שקיימות בדיבור, כך שאין ערובה לנוכחות של עברית, וסביר להניח שרובו באנגלית. בנוסף, חוסר בקובצי השלדים המובילים דורש מכם להשקיע שעות חישוב כבדות רק כדי לשחזר את נתוני התנועה.
שאלות
נפוצות
האם המאגר כולל את קובצי הווידאו עצמם?
לא. המאגר כולל רק מטא-דאטה, תיוגים ומזהי סרטונים מיוטיוב. את קובצי הווידאו המקוריים אתם צריכים להוריד בעצמכם באמצעות הסקריפטים שמספקים היוצרים.
האם יש בדאטהסט תכנים בעברית?
כרטיס המאגר לא מפרט אילו שפות נכללות בתמלולים או בדיבור. סביר להניח שרוב התוכן באנגלית או בשפות בינלאומיות נפוצות, כך שאם אתם בונים מערכת ייעודית לעברית תצטרכו לדגום ולבדוק את התמלולים ידנית.
האם מותר להשתמש בנתונים לפרויקט מסחרי?
לא מומלץ. לא דווח שום רישיון במאגר, מה שאומר שאין לכם הרשאה חוקית ברורה לשימוש מסחרי, ובנוסף הסרטונים עצמם כפופים לזכויות היוצרים של המעלים שלהם ביוטיוב.
למה חסרים קבצים בתיקיית השלדים?
היוצרים החליטו לא להעלות את תיקיית dwpose בגלל המשקל החריג שלה, שהגיע ל־1.5 טרה-בייט. במקום זה הם צירפו קוד שמאפשר לכם לחשב את נתוני השלד באופן עצמאי על החומרה שלכם.
איך טוענים
אין כאן הורדה רגילה שנגמרת בטעינה של פריים לווידאו. צריך להוריד את קובצי התיוג הדחוסים, להריץ סקריפט שמוריד עצמאית את הווידאו מיוטיוב לפי המזהים, ולחתוך את המקטעים עם קוד הפייתון המצורף. תיקיית dwpose עם רצפי השלדים שוקלת כ־1.5 טרה-בייט ולכן היוצרים ביטלו את העלאתה, אבל הם השאירו קוד לחישוב עצמי של השלדים. תהליך ההכנה דורש עבודה עם קובצי tar.gz וסבלנות להורדה ישירה מהרשת.
from datasets import load_dataset
ds = load_dataset("dorni/SpeakerVid-5M-Dataset")הרישיון
המאגר פורסם ללא רישיון מוגדר. במצב כזה ברירת המחדל המשפטית היא שכל הזכויות שמורות ליוצרים, ואין לכם היתר מפורש להשתמש בנתונים למטרות מסחריות, לשנות אותם או להפיץ אותם מחדש. מכיוון שהווידאו עצמו יושב ביוטיוב, חלות עליו גם זכויות היוצרים של בעלי הסרטונים המקוריים, מה שהופך אימון של מוצר מסחרי על בסיס המאגר לסיכון משפטי לא קטן.