mmlu_ru
קוד פתוחNLPCoreTeamרישיון לא דווח2023-06-22
גרסה דו לשונית ברוסית ובאנגלית למבחן MMLU הפופולרי, עם שאלות רב ברירה במגוון מקצועות. מתאים למי שבוחן יכולות שפה וידע כללי במודלים שפונים לקהל דובר רוסית.
- 1,241הורדות בחודש
- 18לייקים
מה זה
המאגר כולל בין עשרת אלפים למאה אלף שאלות רב ברירה שמחולקות לעשרות נושאים אקדמיים ומקצועיים, כמו אלגברה מופשטת, אנטומיה, למידת מכונה ומשפטים. המבנה מבוסס על מבחן MMLU המקורי, כאשר כל נושא מוגדר כתצורה נפרדת עם חלוקה מובנית לסט פיתוח, סט אימות וסט מבחן. סט הפיתוח מכיל בדרך כלל חמש דוגמאות בודדות, בעוד שאר הדוגמאות מרוכזות בסט הבדיקה.
כל רשומה מכילה את גוף השאלה וארבע אפשרויות תשובה במקביל, גם באנגלית וגם ברוסית. בנוסף יש שדה תשובה יחיד שמקודד כתווית קטגורית בין A ל־D. המפרסמים לא תיעדו בכרטיס את שיטת התרגום לרוסית, מקור הטקסטים המדויק או אופן סינון הרשומות, כך שלא ידוע אם מדובר בתרגום מכונה או בעבודה אנושית.
מתאים ל
- הערכת מודלים ברוסית
בדיקת יכולות ידע כללי והבנה אקדמית של מודלי שפה על שאלות רב ברירה ברוסית.
- בדיקת תרגום וידע מקביל
השוואת ביצועי המודל על אותה שאלה בדיוק באנגלית מול הגרסה הרוסית שלה.
- אימון מכוונן לשאלות מבחן
כוונון עדין של מודלים קטנים לעמידה במבחני ידע מקצועיים מרובי ברירה.
איפה זה נופל
הבעיה המרכזית היא חוסר תיעוד מוחלט לגבי תהליך התרגום לרוסית. אם השאלות תורגמו במכונה, ייתכנו טעויות במינוחים טכניים מורכבים במקצועות כמו רפואה, מתמטיקה או משפטים, מה שעלול להטות תוצאות הערכה. מעבר לכך, אין במאגר שום תמיכה בשפה העברית. הנתונים מוגבלים לשפות רוסית ואנגלית בלבד, ותוכן השאלות מייצג את מבנה הידע האקדמי של המבחן המקורי ללא התאמה להקשרים מקומיים או לתרבויות אחרות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מסחרי?
לא מומלץ להסתמך עליו לפיתוח מסחרי כי לא דווח רישיון כלל. כשאין רישיון ברור, אין היתר מפורש לשימוש מסחרי או לאימון מודלים פנימיים. חברות צריכות לקחת בחשבון את הסיכון המשפטי.
כמה מקום המאגר דורש בדיסק?
נפח ההורדה של הקבצים עומד על כחמישה וחצי מגה בייט. מדובר בטקסט בלבד, כך שהמשקל זניח ומתאים לעבודה מהירה גם במחשב נייד.
האם יש כאן שאלות בעברית?
לא. המאגר מכיל אך ורק רוסית ואנגלית. אם אתם מחפשים מקורות לבדיקת מודלים בעברית, הכלי הזה לא יתאים לכם.
איך תורגמו השאלות מ־MMLU המקורי לרוסית?
כרטיס המאגר לא מספק שום מידע על תהליך התרגום או הסינון. לא ידוע אם מדובר בתרגום מכונה או בעבודה של מתרגמים אנושיים. מומלץ לדגום שאלות ידנית כדי לבדוק את איכות הניסוח.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית הדאטהסטס באמצעות המזהה NLPCoreTeam/mmlu_ru, כשיש לבחור את התצורה הרצויה לפי תחום הידע המבוקש. המאגר פתוח לציבור ואינו דורש אישור גישה מראש. נפח ההורדה הכולל עומד על כחמישה וחצי מגה בייט בלבד, כך שהקבצים יורדים תוך שניות בודדות ולא דורשים תשתית אחסון מיוחדת.
השדות המרכזיים לעבודה הם question_ru ו־choices_ru עבור בדיקות בשפה הרוסית, או המקבילות שלהם באנגלית, לצד שדה answer שמכיל את התשובה הנכונה. הקבצים כוללים סקריפט טעינה מובנה וקובץ ארכיון דחוס שממנו נפרסות הדוגמאות ישירות למבנה הנתונים.
from datasets import load_dataset
ds = load_dataset("NLPCoreTeam/mmlu_ru")הרישיון
היוצרים לא דיווחו על רישיון שימוש במאגר. בהיעדר רישיון מוגדר, מבחינה חוקית לא ברור אם מותר להשתמש בנתונים למטרות מסחריות, לשנות אותם או להפיץ אותם מחדש. צוותים שמפתחים מודל מסחרי צריכים להיזהר, שכן אימון על דאטה ללא רישיון חושף את הפרויקט לסיכונים משפטיים.