multi-wiki-qa

מה זה

המאגר מציג רשומות במבנה קלאסי של משימות מענה על שאלות מתוך טקסט. כל דוגמה כוללת מזהה ייחודי, כותרת, פסקת מקור, שאלה, ואת התשובה עצמה יחד עם מיקום התו המדויק שבו היא מתחילה בתוך הפסקה. המבנה זהה לחלוטין לפורמט המקובל של SQuAD.

הנתונים מחולקים לפי שפות שונות בתצורות נפרדות, כאשר רוב השפות הגדולות מוגבלות לתקרה של כחמשת אלפים דוגמאות אימון. בשפות נדירות יותר, כמו צ'ייאן עם 25 דוגמאות או קרי עם 33 דוגמאות, הכמות קטנה משמעותית. כל המידע נשען על ערכי ויקיפדיה, אך הכרטיס אינו מפרט את מנגנון יצירת השאלות, האם נכתבו ידנית, חולצו בכלים אוטומטיים או נוצרו בעזרת מודל שפה.

מתאים ל

• אימון מודלי חילוץ מידע

  התאמת מודלים למענה על שאלות מבוססות הקשר בעשרות שפות שונות.

• בדיקת העברה בין שפות

  בחינת יכולת של מודל שפה להכליל ידע משפות חזקות לשפות דלות משאבים.

• מחקר בלשני חישובי

  ניתוח ביצועי שליפת מידע על ניבים ושפות מקומיות מגוונות.

איפה זה נופל

הבעיה המרכזית היא חוסר מוחלט של נתוני בדיקה והערכה, הכרטיס מכיל רק פיצול אימון. בנוסף, חסר כל תיעוד לגבי תהליך הסינון או אימות התשובות, כך שאי אפשר לדעת מראש מה רמת הרעש או ההזיות בטקסט. השפות נחתכות ברובן בקו של חמשת אלפים דוגמאות בלי הסבר, ועברית כלל אינה מופיעה ברשימת השפות הזמינות.

איך טוענים

טוענים את הנתונים דרך ספריית datasets באמצעות ציון שם התצורה של השפה הרצויה. אין צורך לבקש אישור גישה או להמתין למפתח מיוחד, המאגר פתוח לחלוטין להורדה. הקבצים שמורים בפורמט Parquet בחלוקה לקובץ בודד לכל שפה, כך שניתן למשוך שפה ספציפית בנפח של מגה בייטים בודדים בלי להוריד את כל 308 הקבצים שבמאגר.

from datasets import load_dataset

ds = load_dataset("alexandrainst/multi-wiki-qa")

הרישיון

המאגר מופץ תחת רישיון cc-by-nc-sa-4.0. הרישיון אוסר שימוש מסחרי מכל סוג, דורש מתן קרדיט למפרסם, ומחייב להפיץ כל נגזרת תחת אותם תנאים בדיוק. לא הייתי מאמן על זה מודל שמיועד למוצר מסחרי, זה מתאים למחקר אקדמי בלבד.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗