MERA
קוד פתוחai-forevermit2023-11-10
חבילת מבחנים מקיפה שנועדה להעריך מודלי שפה גדולים ברוסית על פני מגוון משימות היגיון, ידע ואלגוריתמיקה. המאגר מתאים למי שרוצה לבדוק ביצועים ברוסית מול ציוני אנוש ידועים מראש.
- 2,668הורדות בחודש
- 19לייקים
מה זה
המאגר כולל 21 משימות הערכה שונות שמכסות תחומי ידע נרחבים, אלגוריתמיקה, חשיבה לוגית ואתיקה. מתוכן, 17 משימות משמשות לציון הכולל וארבע מוגדרות כמשימות דיאגנוסטיות בלבד. המשימות נשענות על מקורות שונים, החל מחידוני טריוויה כמו משחק השאלות המוכר מהתרבות הרוסית, דרך מבחני בגרות ממלכתיים, ועד משימות מדעי המחשב הקלאסיות שמקורן ביוזמות כמו BIG-bench.
המבנה של הרשומות מותאם למודלי הוראות ומכיל שדות של הנחיה, קלט, פלט רצוי ומטא-דאטה. בחלק מהמשימות הקלטים מורכבים מטקסט חופשי ושאלות פתוחות, ובאחרות ממחרוזות אלגוריתמיות לבדיקת סוגריים מאוזנים או תת-סדרות. הפיצול מבוסס על סטים נפרדים של אימון ומבחן בכל משימה, כאשר חלק מהסוגיות מלוות בפרומפטים שנוסחו ברמות קושי שונות.
מתאים ל
- בנצ'מרק למודלים ברוסית
הרצת סדרת מבחנים על מודל שפה כדי להשוות ביצועים מול ציוני ייחוס אנושיים.
- הערכת היגיון ואלגוריתמיקה
מדידת יכולת המודל לפתור משימות מדעי המחשב בסיסיות כמו בדיקת סוגריים תקינים.
- אימון מודלים מבוססי הנחיות
שימוש בסטים של האימון כדי לכוונן מודלים למענה מדויק על פרומפטים ברוסית.
איפה זה נופל
החיסרון המרכזי כאן הוא שמדובר בגרסה ישנה ולא מתוחזקת. עמוד הפרויקט מציין בפירוש שגרסה זו מיושנת והעבודה עברה למאגר חדש תחת ארגון MERA-evaluation. בנוסף, כל המשימות והשאלות מנוסחות אך ורק ברוסית, כך שאין כאן שום רלוונטיות ישירה לשפות אחרות או לעברית. אם המודל שלכם לא מיועד לרוסית, המדדים והמבחנים כאן פשוט לא יעזרו לכם.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה למוצרים מסחריים?
כן. המאגר פורסם ברישיון MIT, שמאפשר שימוש מסחרי חופשי, עריכה והפצה ללא דרישה לחשוף את הקוד שלכם.
האם יש כאן תמיכה בעברית?
לא. המאגר ממוקד כולו בשפה הרוסית ובמשימות תרבותיות, שפתיות ואלגוריתמיות המנוסחות ברוסית בלבד.
האם כדאי להוריד דווקא את המאגר הזה?
כדאי לשים לב שיוצרי המאגר סימנו אותו כגרסה ישנה שאינה מתוחזקת. עדיף לפנות לגרסה העדכנית שנמצאת במאגר של MERA-evaluation.
איך טוענים
הנתונים מחולקים לתקיות ייעודיות לכל משימה ויושבים בתוך 45 קבצים בפורמט jsonl, עם חלוקה ברורה לקובצי train ו־test. אין צורך בבקשת גישה מיוחדת או באישור כדי להוריד את הקבצים. כשקוראים את השורות, שדות המפתח הם instruction לפרומפט, inputs לקלט המודל, ו־outputs לתשובת הייחוס. שדה המטא כולל לרוב מזהה ייחודי ולעיתים קישורים ומקורות לשאלות.
from datasets import load_dataset
ds = load_dataset("ai-forever/MERA")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי, הפצה ושילוב במערכות סגורות, כל עוד שומרים על הודעת זכויות היוצרים המקורית. אין חובת שיתוף תחת אותו רישיון, ומודל שאומן או הוערך על בסיס הנתונים האלה לא מושפע מהגבלות רישוי מיוחדות.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש