wmt18
קוד פתוחwmtunknown2022-03-02
מאגר מקבילי רחב למשימות תרגום מכונה בין אנגלית לשפות אירופיות ואסיאתיות. משתמשים בו בעיקר כבנצ'מרק סטנדרטי להשוואת ביצועי מודלים מול תוצאות התחרות הרשמית מ־2018.
- 3,076הורדות בחודש
- 14לייקים
מה זה
המאגר מכיל זוגות משפטים מקבילים לצורכי אימון והערכה של מודלי תרגום. הרשומות מחולקות לפי צמדי שפות מול אנגלית, כולל גרמנית, צ'כית, אסטונית, פינית, קזחית, רוסית, טורקית וסינית. בכל רשומה יש שדה תרגום שמחזיק את הטקסט בשפת המקור ותרגומו. הנתונים נלקחו מאתר statmt.org כחלק מסדנת WMT18, ומבוססים על שילוב מקורות רשת כמו Common Crawl וטקסטים מוסדיים.
מבנה הנתונים מחולק לסטים של אימון, ולידציה ובדיקה. בדוגמה של צ'כית-אנגלית יש 11,046,024 משפטי אימון, 3,005 משפטי ולידציה ו־2,983 משפטי בדיקה. שאר השפות מפוצלות באופן דומה בקובצי parquet ייעודיים. הכרטיס לא מפרט תהליכי סינון ידניים או אוטומטיים מעבר לחלוקה המקורית של התחרות.
מתאים ל
- בנצ'מרק למודלי תרגום
מדידת ציון BLEU מול תוצאות תחרות WMT18 על סטי הבדיקה הרשמיים.
- אימון מודל לצ'כית ואנגלית
שימוש ביותר מ־11 מיליון זוגות משפטים לבניית מערכת תרגום בין השפות.
- מחקר על יישור מקבילי
בדיקת אלגוריתמים לניקוי וסינון רעשים מתוך נתוני Common Crawl הפגומים.
איפה זה נופל
הבעיה המרכזית בנתונים מגיעה מחלק ה־Common Crawl. יוצרי המאגר מציינים בפירוש שקבצים שאינם באנגלית כוללים משפטים רבים באנגלית, ושהמשפטים המקבילים אינם מיושרים וחסרי קשר ביניהם. מארגני WMT הודיעו שלא יתקנו את הבעיה כי המידע הוחלף במאגרים כמו CCMatrix ו־ParaCrawl. בנוסף, עברית לא קיימת כאן בכלל, הנתונים הוקפאו ב־2018, ואי אפשר להכניס אותם לאימון מודל מוצר בלי סינון מקדים עמוק של הטקסט הפגום.
שאלות
נפוצות
האם יש במאגר עברית?
לא. המאגר מכיל רק אנגלית, גרמנית, צ'כית, אסטונית, פינית, קזחית, רוסית, טורקית וסינית. אם המטרה היא תרגום לעברית, הדאטהסט הזה לא רלוונטי.
מותר להשתמש בנתונים למוצר מסחרי?
הרישיון מוגדר כ־unknown ולכן אין היתר מסחרי מפורש. הנתונים נאספו עבור תחרות אקדמית ללא הסדרת זכויות יוצרים בכרטיס, מה שמייצר סיכון משפטי לפרויקט מסחרי.
כמה מקום בדיסק צריך כדי לעבוד איתו?
עבור צמד שפות בודד כמו צ'כית-אנגלית צריך כ־3.5 גיגה-בייט פנויים בדיסק. ההורדה עצמה שוקלת כ־2.03 גיגה-בייט והדאטהסט שנוצר תופס עוד 1.46 גיגה-בייט.
למה מופיעה אזהרה חמורה על נתוני Common Crawl?
חלק מהקבצים מכילים טקסט באנגלית תחת שפות אחרות, והמשפטים המקבילים אינם תואמים זה לזה. המארגנים לא מתקנים את זה וממליצים להשתמש במאגרים חדשים יותר כמו ParaCrawl.
איך טוענים
טוענים את הנתונים דרך ספריית datasets בפייתון בעזרת פונקציית load_dataset_builder והגדרת צמד השפות המבוקש. אין צורך באישור גישה מיוחד כדי להוריד את הקבצים. עבור צמד כמו צ'כית-אנגלית מורידים כ־2.03 גיגה-בייט והדאטהסט שנוצר תופס 1.46 גיגה-בייט, עם נפח דיסק כולל של 3.49 גיגה-בייט. השדה המרכזי שמעבדים הוא translation, וממנו שולפים את שתי השפות שנבחרו. קיימת גם תמיכה בטעינה בהזרמה streaming למי שרוצה לחסוך מקום.
from datasets import load_dataset
ds = load_dataset("wmt/wmt18")הרישיון
הרישיון מוגדר כלא ידוע. הדבר אומר שאין הרשאה ברורה לשימוש מסחרי, ואי אפשר לדעת בוודאות אם מותר להפיץ מודל שאומן על החומר הזה. כל המקורות נאספו מהרשת ללא פירוט זכויות יוצרים מסודר בכרטיס. אם אתם בונים משהו לחברה, השימוש בו חושף אתכם לסיכון משפטי, והוא מתאים בעיקר למחקר אקדמי ולהשוואת ביצועים בלבד.