multi30k
קוד פתוחbentrevettרישיון לא דווח2023-03-19
זוגות משפטים באנגלית ובגרמנית מתוך משימת תרגום מבוססת תיאורי תמונות. המאגר מתאים למי שבונה מודל תרגום קומפקטי או בודק ארכיטקטורה על נתונים נקיים בלי להסתבך עם קבצי ענק.
- 3,588הורדות בחודש
- 18לייקים
מה זה
המאגר מבוסס על משימה 1 מתוך סדנת WMT16 לתרגום מולטימודלי, ומכיל בסך הכל קצת יותר משלושים אלף זוגות טקסט. כל רשומה כוללת שני שדות פשוטים בלבד, משפט מקור באנגלית ותרגום מקביל בגרמנית, שמתארים במקור תמונות מתוך פרויקט Multi30K.
הנתונים מחולקים לשלושה חלקים מוכנים מראש. סט האימון מכיל 29,000 רשומות, סט הוולידציה כולל 1,014 רשומות, וסט המבחן כולל 1,000 דוגמאות בדיוק. המבנה הזה מאפשר לבדוק מודלים מיד בלי להתעסק עם חלוקה ידנית.
הכרטיס לא מפרט תהליכי סינון, ניקוי ידני או הסרת כפילויות שנעשו לפני ההעלאה. הטקסטים ממוקדים בתיאורים קצרים וישירים של סצנות ויזואליות, כך שסגנון השפה אחיד יחסית ואינו כולל שיחות חופשיות, שאלות או מבנים תחביריים מפותלים במיוחד.
מתאים ל
- אימון מודלי תרגום בסיסיים
בניית מודלי Seq2Seq ראשוניים לבדיקת ארכיטקטורות תרגום מאנגלית לגרמנית על חומרה פשוטה.
- הערכת ביצועי מודל קיים
הרצת סט המבחן של 1,000 המשפטים כדי למדוד ציוני BLEU על תיאורים קצרים וישירים.
- הוראה והדגמות קוד
הדגמת תהליכי טוקניזציה, אימון והערכה בכיתה או במדריכים טכניים בזכות הגודל הקומפקטי.
איפה זה נופל
אין כאן עברית בכלל, המאגר מוגבל אך ורק לאנגלית ולגרמנית. הנתונים מגיעים מפרסום משנת 2016 ועוסקים אך ורק בתיאור תמונות, ולכן אוצר המילים מוגבל לעצמים מוחשיים ופעולות יומיומיות. הכרטיס לא מציין הטיות דמוגרפיות או חברתיות, אבל מודל שמתאמן רק על החומר הזה יתקשה מאוד לתרגם טקסטים מקצועיים, ספרות, חדשות, סלנג עכשווי או מסמכים משפטיים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
היוצר לא הגדיר רישיון בעמוד הדאטהסט, ולכן אין אישור מפורש לשימוש מסחרי. במצב כזה ברירת המחדל היא שמירת זכויות, ואי אפשר להסתמך עליו במוצר רווחי בלי לבדוק את תנאי הרישיון המקוריים של תחרות WMT16 והמאמר המצוטט.
האם יש במאגר תמיכה בעברית?
לא, המאגר כולל אך ורק אנגלית וגרמנית. אין בו שום טקסט בעברית, ואם המטרה היא לאמן מערכת מקומית לשוק הישראלי תצטרכו לחפש מאגרים מקבילים אחרים.
מה מקור הנתונים ואיך הם נאספו?
הטקסטים מגיעים ממשימת התרגום הראשונה של סדנת WMT16, שמבוססת על תיאורי תמונות מתוך פרויקט Multi30K משנת 2016. מדובר במשפטים שנכתבו באנגלית עבור תמונות ותורגמו לגרמנית כדי לאפשר מחקר על שילוב בין ראייה ממוחשבת לשפה.
במה המאגר הזה שונה ממאגרי תרגום ענקיים?
הוא קטן משמעותית ומכיל רק כ־31 אלף זוגות משפטים, לעומת מיליוני רשומות במאגרי תרגום כלליים. בנוסף, כל המשפטים עוסקים בתיאור ישיר של מה שרואים בתמונה, כך שאין בו עושר לשוני של ניבים, דיאלוגים או מושגים מופשטים.
איך טוענים
הדאטהסט יושב בחמישה קבצים, כולל קובצי train.jsonl, val.jsonl ו־test.jsonl. אין צורך בבקשת אישור גישה מיוחדת, והטעינה מתבצעת ישירות בספריית datasets עם המזהה bentrevett/multi30k. כל שורה מחזיקה אובייקט JSON פשוט עם המפתחות en ו־de, כך שהקריאה מהירה מאוד ולא דורשת חומרה כבדה או עיבוד מוקדם של מבנים מורכבים.
from datasets import load_dataset
ds = load_dataset("bentrevett/multi30k")הרישיון
בעמוד המאגר לא דווח רישיון כלל. מצב כזה משאיר את הזכויות בערפל משפטי, ולכן אסור להניח שמותר להשתמש בחומרים למטרות מסחריות או להפיץ מודל מאומן בתוך מוצר מסחרי. לפני שמכניסים את הנתונים לצנרת עבודה בארגון, צריך לגשת למאמר המקורי מ־2016 ולבדוק את תנאי המקור של סדנת WMT16.