mr-tydi
קוד פתוחcastoriniapache-2.02022-03-02
המאגר כולל שאילתות, תוויות רלוונטיות ודוגמאות שליליות לשליפת מידע חד לשונית ב־11 שפות שונות. הוא מיועד למי שרוצה לאמן או לבחון מודלי שליפה צפופה על שפות מגוונות במבנה נתונים אחיד.
- 1,107הורדות בחודש
- 23לייקים
מה זה
הנתונים מבוססים על פרויקט TyDi ומכסים אחת עשרה שפות: ערבית, בנגלה, אנגלית, פינית, אינדונזית, יפנית, קוריאנית, רוסית, סוואהילי, טלוגו ותאי. לכל שפה יש שלוש חלוקות של אימון, פיתוח ומבחן, ובנוסף קיימת תצורת אימון מאוחדת שמחברת את כל השפות יחד. כל רשומה כוללת מזהה שאילתה, את טקסט השאילתה עצמו ורשימת פסקאות חיוביות.
בחלוקת האימון הרשומות מכילות גם דוגמאות שליליות, שנדגמו מתוך 30 התוצאות המובילות של ריצות אלגוריתם BM25 בכל שפה. עבור סטים של פיתוח ומבחן, המאגר מספק רק את מזהה המסמך עבור פסקאות חיוביות ללא הטקסט המלא וללא מועמדים שליליים, כדי לחסוך מקום באחסון. המאגר עצמו אינו כולל את גוף המסמכים המלא, כך שחייבים להשתמש במאגר הקורפוס הנפרד כדי לבצע שליפה מלאה בפועל.
מתאים ל
- אימון מודלי צפיפות רב-לשוניים
אימון מודלי שיקוע לשליפת טקסט באמצעות שימוש בשאילתות ובשליליים הקשים מ־BM25.
- בחינת ביצועי מודלי דירוג
מדידת יכולת הדירוג והשליפה של מודלים ב־11 שפות שונות מול תוויות האמת.
- אימון משולב על כמה שפות
שימוש בתצורת האימון המאוחדת ליצירת ייצוגים יציבים החוצים שפות שונות.
איפה זה נופל
החיסרון המרכזי למפתח הישראלי הוא היעדר מוחלט של עברית בין השפות הנתמכות. בנוסף, המאגר אינו עצמאי להערכה מלאה, שכן קובצי המבחן והפיתוח מחזיקים מזהי מסמכים בלבד ומחייבים הורדה וחיבור של קורפוס נפרד לחלוטין. הדוגמאות השליליות באימון נשענות כולן על דגימות BM25, מה שעלול ליצור הטיה מובנית לטובת התאמות לקסיקליות ולפספס דקויות סמנטיות מורכבות.
שאלות
נפוצות
האם המאגר כולל עברית?
לא, המאגר מכיל רק 11 שפות ספציפיות כמו ערבית, אנגלית, רוסית ותאי. עברית אינה נכללת בפרויקט זה, ולכן לא ניתן להשתמש בו לאימון או הערכה עבור טקסטים מקומיים.
האם מותר להשתמש בנתונים לפיתוח מוצר מסחרי?
כן, הרישיון הוא apache-2.0 ומאפשר שימוש מסחרי מלא. מותר לאמן מודלים למוצרים פנימיים או חיצוניים, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי.
האם הדאטהסט מספיק כדי לבצע בדיקת שליפה מלאה?
לא לבדו, מפני שהטקסטים המלאים של הפסקאות אינם נמצאים בסט המבחן. כדי לשלוף מסמכים מקצה לקצה חייבים להוריד במקביל את מאגר הקורפוס הנפרד שלהם ולהצליב לפי מזהי המסמכים.
איך נאספו הדוגמאות השליליות בערכת האימון?
המפרסמים הריצו אלגוריתם BM25 על המסמכים בכל שפה עבור כל שאילתה. לאחר מכן הם דגמו את הפסקאות השליליות מתוך 30 התוצאות הראשונות שהתקבלו בריצה זו.
איך טוענים
טוענים את הנתונים ישירות דרך הספרייה עם הפקודה הרגילה, תוך ציון שם השפה המבוקשת או התצורה המאוחדת של האימון. אין צורך באישור גישה מיוחד, והקבצים מחולקים לתצורות שונות כולל קובצי טקסט ו־jsonl דחוסים. כדי לחשב מדדי ביצוע אמיתיים, שדה docid הוא הקריטי ביותר, מכיוון שצריך להצליב אותו מול קורפוס הטקסטים המלא castorini/mr-tydi-corpus שלא נמצא כאן.
from datasets import load_dataset
ds = load_dataset("castorini/mr-tydi")הרישיון
המאגר מופץ ברישיון apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה של החומר ללא תשלום תמלוגים, ואינו מחייב שיתוף של תוצרי פיתוח תחת אותו רישיון. תנאי השימוש דורשים מתן קרדיט מתאים ושמירה על הודעות זכויות היוצרים, אך אין מניעה לאמן מודלים מסחריים על בסיס הנתונים הללו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים