sberquad
קוד פתוחkuznetsoffandreyunknown2022-03-02
מאגר שאלות ותשובות ברוסית מבוסס ויקיפדיה בסגנון SQuAD המוכר. הוא מיועד למי שמאמן או בודק מודלי הבנת הנקרא וזקוק לדאטה עם סימון מקטעי תשובה מתוך הטקסט.
- 855הורדות בחודש
- 33לייקים
מה זה
מדובר במקבילה הרוסית למערך הנתונים SQuAD, שמקורה בתחרות של סברבנק מ־2017. הרשומות כוללות פסקאות מתוך ערכי ויקיפדיה, שאלות שנכתבו על ידי עובדי מיקור חוץ, ותשובות שהן מקטעי טקסט מדויקים שנגזרו ישירות מתוך הפסקה. חלק מהשאלות עשויות להיות ללא תשובה בטקסט.
המאגר מחולק לשלושה חלקים מוכנים מראש. חלק האימון מכיל 45,328 דוגמאות, חלק הוולידציה כולל 5,036 דוגמאות, וחלק הבדיקה מכיל 23,936 דוגמאות. כל רשומה מחזיקה מזהה ייחודי, כותרת, את פסקת ההקשר, השאלה שנשאלה, ומילון תשובות הכולל את הטקסט המדויק ואת מיקום התו שבו התשובה מתחילה.
מתאים ל
- אימון מודלי הבנת הנקרא
כוונון עדין של מודלי שפה לחילוץ תשובות מתוך פסקאות טקסט ברוסית.
- הערכת ביצועי מודלים
בדיקת דיוק של מערכות חיפוש סמנטי והבנת הנקרא על חלוקת המבחן.
- בניית בוטים מבוססי ידע
תרגול שליפת תשובות מתוך מקורות מידע פנימיים המנוסחים כשאלות ותשובות.
איפה זה נופל
הנתונים כולם ברוסית בלבד ואין כאן עברית או אנגלית. המקור הבלעדי הוא ויקיפדיה והשאלות נוצרו על ידי עובדי מיקור חוץ עוד בשנת 2017, כך שהמידע משקף את מצב הערכים והעולם של אותה תקופה. כרטיס הדאטהסט לא מפרט הטיות, סינון רגישויות או שיטות נרמול, כך שחובה לדגום את הטקסט ידנית לפני שמשלבים אותו במערכת אמיתית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון מסומן כלא ידוע ולכן אין אישור רשמי לשימוש מסחרי. מומלץ לבדוק את הרישיון במאגר המקורי בגיטהאב של התחרות מ־2017 לפני שמשלבים את המידע בקוד מסחרי.
האם יש במאגר שאלות או תשובות בעברית?
לא. כל הנתונים, הפסקאות, השאלות והתשובות כתובים ברוסית בלבד מתוך ויקיפדיה הרוסית.
איך המידע הזה נאסף במקור?
הטקסטים נלקחו מוויקיפדיה ועובדי מיקור חוץ ניסחו את השאלות וסימנו את מקטעי התשובות בגוף הפסקה. המאגר פורסם במסגרת אירוע מדעי הנתונים של סברבנק ב־2017 ותואר במאמר אקדמי מ־2020.
במה הוא שונה מ־SQuAD הרגיל?
השוני העיקרי הוא השפה וההקשר התרבותי של ויקיפדיה ברוסית. המבנה הטכני זהה כמעט לחלוטין לפורמט המקורי של SQuAD עם שדות של הקשר, שאלה, ואינדקס תחילת תשובה.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות המזהה kuznetsoffandrey/sberquad ללא צורך באישור גישה מוקדם. הקבצים שמורים בפורמט Parquet בחלוקה ל־train, validation ו־test. המבנה תואם לחלוטין לפורמט SQuAD הסטנדרטי, כך שהשדות החשובים לטעינה הם context לפסקה, question לשאלה, ו־answers שמכיל את המחרוזת ואת אינדקס ההתחלה במספר שלם.
from datasets import load_dataset
ds = load_dataset("kuznetsoffandrey/sberquad")הרישיון
הרישיון של המאגר מוגדר כלא ידוע. הדבר אומר שאין לכם היתר מפורש להשתמש בנתונים האלה לצרכים מסחריים, ואי אפשר לדעת מה ההשלכות המשפטיות על הפצת מודל שאומן עליהם. לשימוש מחקרי או אקדמי בלבד זה עשוי להספיק, אבל למוצר מסחרי לא הייתי נוגע בזה בלי בדיקה מול המאגר המקורי בגיטהאב.