ted_talks_iwslt
קוד פתוחIWSLTcc-by-nc-nd-4.02022-03-02
המאגר מרכז תרגומים מקבילים של הרצאות TED בלמעלה מ־109 שפות שונות. הוא מיועד בעיקר למי שבונה או בוחן מודלים של תרגום מכונה על טקסט מדובר שנערך לכתוביות.
- 1,175הורדות בחודש
- 26לייקים
מה זה
הנתונים נאספו ישירות מאתר TED ומכילים תמלולים מקוריים באנגלית לצד תרגומים שנוצרו על ידי מתנדבים. המבנה הבסיסי מכיל שדה יחיד של תרגום בין צמד שפות נבחר. במקור, כל שפה נשמרה בקובץ XML שכלל מטא-דאטה כמו מזהה הרצאה, שם הדובר, כתובת הדף ותאריך הפרסום, אך דרך הספרייה הגישה היא לטקסט המקביל עצמו.
ההרצאות עצמן מכסות מגוון נושאים, אך הן עוקבות אחר סגנון דיבור והרצאה מול קהל. אין חלוקה מובנית לסט אימון, בדיקה או ולידציה. במקום חלוקה קלאסית, הנתונים מחולקים לפי שנות פרסום של גרסאות המאגר: 2014, 2015 ו־2016.
מתאים ל
- אימון תרגום מכונה
אימון מודלים אקדמיים לתרגום טקסט מדובר וכתוביות בין עשרות שפות שונות.
- הערכת ביצועי מודלים
שימוש בטקסטים כמבחן השוואתי למערכות תרגום על סגנון דיבור חופשי והרצאות.
- חקר בלשנות חישובית
ניתוח הבדלי תרגום וסגנון של מתנדבים על פני שפות שונות באותו תוכן מקור.
איפה זה נופל
התרגומים נעשו על ידי מתנדבים, מה שאומר שרמת הדיוק ואיכות הניסוח אינן אחידות. פיזור השפות מוטה מאוד: בעוד אנגלית, ספרדית או צרפתית מכסות כמעט את כל ההרצאות, לשפות רבות יש מאות בודדות של הרצאות, ולחלקן קיימת הרצאה אחת בלבד. בנוסף, הנתונים הוקפאו בין השנים 2014 ל־2016, כך שהם אינם כוללים שפה עדכנית או הרצאות מהשנים האחרונות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
לא. הרישיון הוא cc-by-nc-nd-4.0 שכולל במפורש את התנאי NC, כלומר לשימוש לא מסחרי בלבד. בנוסף יש מגבלת איסור יצירות נגזרות, כך שהוא מתאים למחקר אקדמי בלבד.
האם יש במאגר תמיכה בעברית?
כן, עברית מופיעה ברשימת השפות תחת הקוד he. לפי כרטיס המאגר, עברית שייכת לקבוצת השפות שכוללת כמה מאות הרצאות מתורגמות, בשונה משפות המקור המרכזיות שמכסות כמעט את הכל.
האם יש חלוקה מוגדרת לטסט ואימון?
לא, המאגר אינו כולל פיצול רשמי ל־train, test ו־dev. החלוקה היחידה שמוגדרת בקוד היא לפי שנות פרסום הנתונים: 2014, 2015 או 2016, ותצטרכו לבצע חלוקה עצמאית.
מאיפה הגיעו התרגומים?
הטקסטים נלקחו ישירות מאתר TED. התרגומים לשפות השונות אינם תרגום מקצועי בשכר אלא עבודת תרגום שבוצעה על ידי קהילת המתנדבים של הארגון.
איך טוענים
טוענים את הנתונים באמצעות load_dataset עם ציון צמד השפות הרצוי והשנה, למשל 2014. המאגר מכיל בין אלף לעשרת אלפים רשומות, וקובץ המקור data/XML_releases.tgz יורד אוטומטית ללא צורך בהרשאה מיוחדת או אישור גישה מוקדם. השדה העיקרי הוא translation, שמחזיר מילון עם הטקסט בשפת המקור ובשפת היעד.
from datasets import load_dataset
ds = load_dataset("IWSLT/ted_talks_iwslt")הרישיון
המאגר מופץ ברישיון cc-by-nc-nd-4.0. הרישיון אוסר שימוש מסחרי מכל סוג ומחייב מתן ייחוס ליוצרים. בנוסף, חל איסור על הפצת יצירות נגזרות, מה שיוצר בעיה משפטית משמעותית אם אתם מתכננים להפיץ מודל שאומן על הנתונים האלה.