TALI
קוד פתוחAntreascc-by-4.02023-08-16
חיבור מרובע של טקסט, תמונה, וידאו ואודיו שנועד למחקר רב-מודאלי עמוק. הוא מאפשר לאמן מודלים על קשרים מורכבים בין ערוצי מידע שונים במקביל.
- 1,708הורדות בחודש
- 16לייקים
מה זה
המאגר כולל בין מיליון לעשרה מיליון רשומות המכילות ארבעה אופני מידע נפרדים. כל דגימה משלבת תמונות מוויקיפדיה ופריים מתוך יוטיוב, טקסטים מכותרות ותיאורי ויקיפדיה לצד כתוביות ותיאורים מיוטיוב, וכן קטעי וידאו ואודיו מלאים שנחתכו מהסרטונים.
בניית הנתונים התבססה על מאגר WiT של ויקיפדיה. היוצרים לקחו כותרות ותיאורי עמודים, חיפשו באמצעותם סרטונים ביוטיוב בעלי רישיון חופשי וללא הגבלת גיל, וסיננו את מאה התוצאות הראשונות בעזרת מודל CLIP כדי לבחור את הסרטון המתאים ביותר.
הסרטונים שנבחרו חולקו למקטעים של שלושים שניות, ומתוכם נשמרו עשרת המקטעים בעלי ההתאמה הגבוהה ביותר לתואר הסרטון לפי הטמעות תמונה של CLIP. בזמן דגימה נבחר מקטע של עשר שניות שממנו נשלפים מאתיים פריימים של וידאו ומאה ושישים אלף דגימות אודיו.
מתאים ל
- אימון מודלים רב-מודאליים
למידה בו-זמנית על טקסט, תמונה, וידאו ושמע לשיפור יכולות הסקת מסקנות מורכבות.
- למידה בפיקוח עצמי
פיתוח ייצוגים משותפים בין מדיות שונות ללא צורך בתיוג ידני יקר.
- סיווג zero-shot
בדיקת יכולת המודל לסווג קטעי שמע ווידאו על בסיס הנחיות טקסטואליות בלבד.
איפה זה נופל
הסינון כולו מבוסס על מודל CLIP, מה שמכניס למאגר את כל העיוורונות וההטיות המובנות של המודל הזה בזיהוי תוכן. בנוסף, חיתוך הווידאו נעשה לפי התאמה בין תמונה בודדת לכותרת, כך שחלק מקטעי האודיו והתנועה עשויים להיות מנותקים מההקשר הכללי. הכרטיס אינו מפרט שפות ספציפיות, חלוקה גאוגרפית, או סטטיסטיקות מדויקות על הרכב הנתונים, ולא נמסר מידע על סינון תוכן פוגעני מעבר להגבלת הגיל המקורית של יוטיוב.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, רישיון cc-by-4.0 מתיר שימוש מסחרי מלא בנתונים. החובה היחידה היא לתת קרדיט נאות ליוצר המאגר בפרסומים או במערכת. הסרטונים עצמם נאספו מיוטיוב תחת הגדרת רישיון חופשי.
האם המאגר כולל תוכן בעברית?
הכרטיס אינו מציין במפורש שפות נתמכות. מאחר שהמקור הוא יוטיוב ומאגר ויקיפדיה העולמי, ייתכן שיש ייצוג לשפות שונות, אך ברירת המחדל בחיפושים מסוג זה נוטה בבירור לאנגלית.
איך מחלצים את הווידאו והאודיו בפועל?
החבילה הייעודית מאפשרת לקבל את הווידאו כרשימה של תמונות PIL ואת האודיו כמערך ערכים מספריים. לחלופין, היא מספקת טרנספורמציות מובנות להזנה ישירה למודלים דוגמת Whisper ו־CLIP.
במה המאגר שונה מאוספי טקסט ותמונה רגילים?
בניגוד למאגרים שמצמידים רק כיתוב לתמונה, כאן יש סנכרון של ארבעה ערוצים במקביל, כולל וידאו מלא וערוץ שמע מקביל. זה מאפשר לחקור קשרים זמניים וסמנטיים שאינם קיימים בנתונים סטטיים.
איך טוענים
הנתונים מחולקים למאות קובצי parquet, כולל חלוקת בדיקה, ואינם דורשים בקשת אישור מיוחדת להורדה. היוצרים מציינים שלא כדאי לטעון אותם ישירות דרך ספריית datasets הרגילה אלא באמצעות חבילת קוד ייעודית מגיטהאב שמתחברת ישירות למאגר ומספקת הורדה יציבה ומהירה יותר. החבילה כוללת אפשרות להזרמת נתונים, פונקציות המרה מובנות למודלים כמו CLIP ו־Whisper, או טעינה גולמית שבה טקסט מתקבל כמחרוזת, תמונות ווידאו כקובצי PIL, ואודיו כמערך מספרים.
from datasets import load_dataset
ds = load_dataset("Antreas/TALI")הרישיון
המאגר מופץ תחת רישיון cc-by-4.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה של הנתונים, ואינו דורש שיתוף של תוצרי הפיתוח או המודלים באותו הרישיון. התנאי המרכזי והמחייב הוא מתן קרדיט ברור ומפורש ליוצר המאגר.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס