mt_eng_vietnamese
קוד פתוחIWSLTunknown2022-03-02
מאגר נתונים מקביל של אנגלית וויאטנמית שמיועד לאימון מודלי תרגום מכונה. הוא מספק זוגות משפטים מוכנים מראש מתוך משימת התרגום של IWSLT משנת 2015.
- 443הורדות בחודש
- 31לייקים
מה זה
המאגר מבוסס על נתונים שעברו עיבוד מוקדם עבור משימת תרגום המכונה של סדנת IWSLT בשנת 2015, ומקושר לפרויקט תרגום המכונה העצבי של סטנפורד. כל רשומה כוללת שדה תרגום יחיד ובו שני תתי שדות, אחד למשפט המקור באנגלית ואחד למשפט המקביל בווייטנאמית, כמו תמלילי הרצאות מדעיות וכלליות.
מבחינת חלוקת הנתונים, המאגר מציע פיצול מובנה לשלושה חלקים מוכנים. קבוצת האימון כוללת 133,318 זוגות משפטים, קבוצת האימות מכילה 1,269 זוגות משפטים, וקבוצת הבדיקה כוללת גם היא בדיוק 1,269 זוגות משפטים. הכרטיס אינו מפרט את הליך האיסוף, זהות המתרגמים או שיטת הסינון שבוצעה בפועל.
מתאים ל
- אימון מודלי תרגום
בניית מודלי תרגום מכונה עצביים בין אנגלית לוייטנאמית על בסיס קבוצת האימון המוכנה.
- הערכת ביצועי מודלים
בדיקת איכות התרגום באמצעות קבוצות המבחן והאימות המובנות שמכילות מעל אלף משפטים כל אחת.
- מחקר בתרגום שפות דלות משאב
שימוש בנתונים כבנצ׳מרק היסטורי עבור מחקר אקדמי בהשוואה לתוצאות עבר של IWSLT 2015.
איפה זה נופל
הכרטיס משאיר כמעט את כל השדות הטכניים החשובים ריקים. אין תיעוד של הטיות, סינון מידע רגיש או אופן יצירת הנתונים. המאגר מוגבל אך ורק לזוג השפות אנגלית וויאטנמית, והנתונים מגיעים משנת 2015, מה שאומר שהשפה והמינוחים משקפים את התקופה ההיא בלבד ולא כוללים סלנג או מונחים מודרניים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
הרישיון הרשמי של המאגר מוגדר כלא ידוע, ואין בכרטיס שום פירוט על תנאי השימוש. במצב כזה לא כדאי להסתמך עליו במוצר מסחרי, כי אין הגנה משפטית לגבי זכויות היוצרים של הטקסטים. אם המטרה היא מסחרית, עדיף לחפש חלופה עם רישיון פתוח מוגדר היטב.
האם המאגר כולל עברית?
לא, המאגר מיועד אך ורק לתרגום בין אנגלית לוייטנאמית. אין בו נתונים בעברית כלל, ולא ניתן להשתמש בו ישירות למשימות שקשורות לשפה העברית. הוא רלוונטי רק למי שמפתח פתרונות סביב זוג השפות הספציפי הזה.
מאיפה הגיעו הטקסטים ואיך הם נאספו?
הנתונים מגיעים מסדנת IWSLT משנת 2015 ומשויכים לפרויקט תרגום מכונה של אוניברסיטת סטנפורד. מעבר לציטוט המאמר של לואונג ומנינג, הכרטיס אינו מספק מידע על תהליך האיסוף, מקור הדוברים או שיטות הנרמול. המידע לגבי סינון שגיאות או ניקוי ידני פשוט אינו מתועד.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית הדאטהסטים באמצעות המזהה IWSLT/mt_eng_vietnamese, שמפעיל את סקריפט הטעינה mt_eng_vietnamese.py. אין צורך באישור גישה מקדים או בהורדה ידנית. המבנה פשוט מאוד ומכיל רק את המילון translation עם המפתחות en ו־vi, כך שאפשר לחבר אותו ישר לצינורות טוקניזציה רגילים של תרגום.
from datasets import load_dataset
ds = load_dataset("IWSLT/mt_eng_vietnamese")הרישיון
הרישיון מוגדר כלא ידוע. הכרטיס לא מציין תחת איזה רישיון הטקסטים שוחררו, וזה יוצר סיכון משפטי ברור. כל עוד אין הבהרה רשמית, אי אפשר לדעת אם מותר להשתמש במאגר לפיתוח מוצרים מסחריים או מה הכללים לגבי מודלים שאומנו עליו.