TalkVid
קוד פתוחFreedomIntelligencecc-by-nc-4.02025-08-08
מעל 1,244 שעות וידאו של פלג גוף עליון מדבר ב־1080p ו־4K, מיועדות לאימון מודלים של talking head. המטרה כאן היא שבירת התלות בדאטהסטים שמציגים רק ראש מבודד וקבוצות דמוגרפיות צרות.
- 1,799הורדות בחודש
- 22לייקים
מה זה
המאגר כולל סרטונים של 7,729 דוברים שונים ומכסה מגוון של 15 שפות, בהן אנגלית, סינית, ערבית, רוסית, צרפתית, ספרדית ועוד, לצד חלוקה לחמש קבוצות גיל מגיל אפס ועד מעל שישים. בניגוד לאוספים ישנים שמציגים חיתוך צפוף של הפנים בלבד, כאן יש נוכחות מלאה של פלג גוף עליון. החומרים עברו צינור סינון אוטומטי שבדק יציבות תנועה, אסתטיקה ופירוט פנים, עם התאמה לשיפוט אנושי. מקטעי הווידאו נעים בין שלוש לשלושים שניות, ברזולוציות של 1080p ו־2160p, ולצידם מצורפים כתוביות ומטא-דאטה מפורט.
בנוסף למאגר האימון הגדול, היוצרים בנו את TalkVid-Bench, סט הערכה של 500 קליפים שמפולג בצורה מאוזנת לפי מאפיינים דמוגרפיים ולשוניים. הסט הזה נועד לבדוק איך מודלים מתמודדים עם תתי-אוכלוסיות שונות, במקום להסתפק במדדי ביצועים ממוצעים שמסתירים פערי איכות.
מתאים ל
- אימון מודלי אנימציה קולית
פיתוח מודלים ליצירת תנועת ראש וגוף עליון מקובץ שמע ותמונת מקור בודדת.
- הערכת ביצועים רב-לשונית
מדידת פערי דיוק בסנכרון שפתיים בין קבוצות גיל שונות ושפות שונות באמצעות TalkVid-Bench.
- מחקר על יציבות תנועה
בדיקת יכולת המודל לייצר תנועות גוף טבעיות ברזולוציית 4K ללא קפיצות בין פריימים.
איפה זה נופל
עברית לא נכללת ברשימת 15 השפות של המאגר, כך שאם אתם בונים מערכת שמכוונת לשוק המקומי תצטרכו לבדוק בעצמכם סנכרון שפתיים על פונמות ייחודיות. מעבר לזה, המאגר נשען על צינור סינון אוטומטי ולא על בקרה אנושית מלאה לכל 1,244 השעות, מה שעלול להשאיר רעשי רקע או תנועות לא טבעיות במקטעים מסוימים. החיסרון הבולט ביותר הוא המגבלה המשפטית, שאינה מאפשרת להכניס מודלים שאומנו עליו למוצרים אמיתיים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הדאטהסט מוגן תחת רישיון CC BY-NC 4.0 שמתיר שימוש אקדמי ומחקרי בלבד. כל מודל שתאמנו על החומרים האלה יהיה מוגבל לאותם תנאים ואסור לשילוב במוצר מניב הכנסות.
האם יש במאגר דוברי עברית?
לא לפי הפירוט הרשמי. הדאטהסט כולל 15 שפות ובהן אנגלית, סינית, ערבית, ספרדית, צרפתית, רוסית והינדי, אך עברית אינה מופיעה ברשימת השפות הנתמכות.
מה מייחד את TalkVid לעומת מאגרים ישנים של ראשי דיבור?
רוב המאגרים מציגים פרצוף חתוך מקרוב ברזולוציה בינונית ומספר מוגבל של דוברים. כאן יש 1,244 שעות ב־1080p ו־4K שמציגות את כל פלג הגוף העליון, עם 7,729 דוברים בגילים שונים מילדות ועד זקנה.
האם הקוד והדאטהסט מגיעים תחת אותו רישיון?
לא, יש כאן הפרדה. קוד המקור שפורסם בגיטהאב מופץ ברישיון Apache 2.0 שפתוח לשימוש מסחרי, אבל קובצי הווידאו והאודיו של המאגר עצמו מוגבלים לשימוש לא מסחרי בלבד תחת רישיון Creative Commons.
איך טוענים
המאגר מכיל 2,008 קבצים, כולל תיקיות של סט הבנצ'מרק עם קובצי אודיו בפורמט m4a. להרצה מקומית היוצרים מפנים למאגר הגיטהאב שלהם, שמבוסס על סביבת פייתון 3.10, PyTorch עם תמיכת CUDA 12.1, ffmpeg בגרסה נמוכה מ־7, והורדת משקולות מודל V-Express. הסקריפט מריץ הסקה מקובץ תמונה, קובץ אודיו בפורמט mp3 ונקודות ציון של תנועת פנים שמורות בקובץ pth. אין צורך באישור גישה ידני כדי להוריד את הקבצים, אך מדובר בהיקף עצום של וידאו באיכות גבוהה שמחייב נפח אחסון כבד ורוחב פס משמעותי.
from datasets import load_dataset
ds = load_dataset("FreedomIntelligence/TalkVid")הרישיון
הנתונים שוחררו תחת רישיון CC BY-NC 4.0. המשמעות ברורה: שימוש מחקרי ואקדמי בלבד, תוך מתן קרדיט מלא ליוצרים. אסור להשתמש בדאטהסט, או בכל מודל שאומן ישירות עליו, למטרות מסחריות או להפקת רווח. קוד המקור בגיטהאב שוחרר בנפרד תחת רישיון Apache 2.0 המתיר שימוש מסחרי, אך חומרי הווידאו עצמם כבולים לחלוטין לשימוש לא מסחרי.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא