wmt19

מה זה

המאגר כולל בין עשרה למאה מיליון רשומות שמיועדות לאימון מודלי תרגום. הנתונים מחולקים לפי צמדי שפות, כמו צ'כית לאנגלית או גרמנית לאנגלית, ומכילים שפות כמו צ'כית, גרמנית, אנגלית, פינית, צרפתית, גוג'ראטית, קזחית, ליטאית, רוסית וסינית. כל רשומה כוללת שדה תרגום עם הטקסט המקביל בין שתי השפות הרלוונטיות.

המקור מגיע מאתר statmt.org כחלק ממשימת תרגום החדשות של כנס WMT לשנת 2019. הכרטיס לא מפרט תהליכי סינון מדויקים או נרמול, אך מציין חלוקות ברורות לאימון וולידציה. לדוגמה, בצמד צ'כית ואנגלית יש מעל 7.2 מיליון משפטים לאימון ו־2,983 משפטי בדיקה.

מתאים ל

• אימון מודלי תרגום

  אימון מודלים על צמדי שפות כמו גרמנית לאנגלית או צ'כית לאנגלית עם מיליוני דוגמאות.

• הערכת ביצועי תרגום

  בדיקת איכות של מודלים קיימים מול סטים מוכנים של ולידציה כמו סט הבדיקה הצ'כי.

• מחקר אקדמי השוואתי

  בחינת ארכיטקטורות תרגום חדשות מול תוצאות עבר שנמדדו במסגרת תחרות WMT19.

איפה זה נופל

יש בעיה מתועדת וקריטית באיכות הנתונים שמגיעים ממאגר Common Crawl. קבצים שאמורים להכיל שפות שאינן אנגלית כוללים בפועל משפטים רבים באנגלית, ומשפטים מקבילים רבים כלל אינם תואמים זה לזה. מארגני התחרות הודיעו שלא יתקנו את המקור הזה, כי הוא נחשב מיושן והוחלף במאגרים חדשים יותר. בנוסף, חסר כאן כל מידע על הטיות, סינון פרטים מזהים או בדיקות רגישות, והכרטיס כמעט ריק בפרטים האלה.

איך טוענים

הקבצים שמורים בפורמט Parquet בחלוקה לפי שפות, ללא צורך באישור גישה מיוחד. אפשר לטעון אותו ישירות או לבנות תת קבוצה מותאמת עם סקריפטים ייעודיים להגדרת צמד השפות והמקורות. נפח ההורדה עומד על 2.02 גיגה בייט, והנתונים שנוצרים תופסים כ־1.32 גיגה בייט, כך שנדרשים בסך הכל כ־3.33 גיגה בייט בדיסק. השדה העיקרי שמעניין אתכם בקוד הוא translation שמכיל את צמד המחרוזות.

from datasets import load_dataset

ds = load_dataset("wmt/wmt19")

הרישיון

הרישיון מוגדר כלא ידוע. המשמעות היא שאין היתר ברור לשימוש מסחרי, לא ידוע אם מותר לשלב את הנתונים במוצר סגור, ואי אפשר לדעת אילו זכויות יוצרים חלות על מודל שתאמנו עליו. עבור גוף עסקי, מדובר בסיכון משפטי שמחייב בדיקה מול מקורות המידע המקוריים באתר statmt.org לפני שנוגעים בחומר.

הרישיון המלא ב־Hugging Face ↗