wmt17
קוד פתוחwmtunknown2022-03-02
מאגר נתונים מקבילי לאימון והערכה של מודלי תרגום מכונה בין אנגלית למגוון שפות אירופיות ואסיאתיות. משמש בעיקר כבנצ'מרק השוואתי מוכר למחקר מבוסס משימות תרגום.
- 3,323הורדות בחודש
- 14לייקים
מה זה
המאגר מרכז זוגות משפטים מתורגמים ממספר שפות מול אנגלית, שמקורם באתר statmt.org כחלק מסדנת WMT17. השפות כוללות צ'כית, גרמנית, אנגלית, פינית, לטבית, רוסית, טורקית וסינית. הנתונים מחולקים לפי צמדי שפות, ובתוכם לפי סטים של אימון, ולידציה ובדיקה.
המבנה של כל רשומה כולל שדה יחיד בשם translation, שמכיל מילון עם צמד הטקסטים המקבילים. לדוגמה, בצמד צ'כית-אנגלית יש 1,018,291 שורות אימון, 2,999 שורות ולידציה ו־3,005 שורות בדיקה. כרטיס הדאטהסט לא מפרט תהליכי סינון מדויקים, אך מזהיר במפורש מפגמים בקורפוס Common Crawl המשולב בו, לרבות חוסר התאמה בין המשפטים ומשפטים באנגלית שזלגו לקבצים של שפות אחרות.
מתאים ל
- בנצ'מרק למודלי תרגום
מדידת ביצועים של מודלי שפה על סטי הבדיקה הרשמיים כדי להשוות לתוצאות ספרות מדעית.
- אימון מודלי תרגום קלים
אימון מודל תרגום ייעודי לצמדי שפות ספציפיים כמו גרמנית-אנגלית או צ'כית-אנגלית.
- מחקר על דאטה רועש
בדיקת עמידות של מודלים לאי-התאמות ולתרגומים שגויים בקורפוס האימון.
איפה זה נופל
חלק מנתוני Common Crawl פגומים ברמה בסיסית. הכרטיס מציין שטקסטים שאמורים להיות בשפה זרה מכילים אנגלית, ושהתרגום המקביל באנגלית אינו תואם להם כלל. מארגני התחרות לא מתכוונים לתקן זאת ומפנים למאגרים חדשים יותר. בנוסף, הנתונים הם משנת 2017, וחסר כל מידע על הטיות, סינון פרטים אישיים או מקורות הטקסט בשאר השפות.
שאלות
נפוצות
האם יש במאגר טקסטים בעברית?
לא. המאגר מכיל רק צ'כית, גרמנית, אנגלית, פינית, לטבית, רוסית, טורקית וסינית מול אנגלית.
האם מותר להשתמש בדאטהסט הזה למוצר מסחרי?
הרישיון מוגדר כלא ידוע. בלי בדיקה פרטנית של מקורות הטקסט המקוריים באתר המארגן, יש סיכון משפטי באימון מודל מסחרי על הנתונים האלה.
כמה מקום בדיסק צריך בשביל לעבוד איתו?
עבור צמד שפות בודד כמו צ'כית-אנגלית נדרשים כ־1.78 גיגה-בייט להורדה וכ־2.09 גיגה-בייט בסך הכל. שפות אחרות עשויות לדרוש נפח נוסף בהתאם לכמות הקבצים.
מדוע חלק מהמשפטים המקבילים לא תואמים?
הכרטיס מזהיר מראש שחלק מנתוני Common Crawl כוללים בעיות יישור קשות ומשפטים באנגלית במקום בשפת היעד. המארגנים הצהירו שלא יתקנו את זה כיוון שהמידע נחשב לישן והוחלף במאגרים כמו CCMatrix.
איך טוענים
הטעינה מתבצעת בספריית datasets הרגילה, ללא צורך באישורי גישה מיוחדים. המאגר מאוחסן בפורמט Parquet בחלוקה ל־62 קבצים לפי צמדי שפות וחלוקות משנה. כדי לעבוד איתו בצורה ממוקדת, מגדירים builder עם צמד השפות והמקור הרצוי, למשל commoncrawl או סטים מוגדרים מראש של תתי נתונים. גודל ההורדה של קובצי הבסיס לצמד כמו צ'כית עומד על כ־1.78 גיגה-בייט, והנפח הכולל בדיסק דורש כ־2.09 גיגה-בייט. ניתן גם לצרוך אותו בהזרמה ישירה בלי להוריד את כל החומר למחשב, מה שחוסך מקום כשרוצים לבדוק רק דגימות מהשדה translation.
from datasets import load_dataset
ds = load_dataset("wmt/wmt17")הרישיון
הרישיון המדווח מוגדר כלא ידוע. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי, ואי אפשר לדעת אילו הגבלות חלות על מודל שתאמנו על הנתונים. לשימוש מחקרי טהור זה לרוב עובר, אבל לפני שילוב במוצר מסחרי צריך לבדוק את הרישיונות של כל מקור נתונים בנפרד באתר statmt.org.