russian_super_glue

מה זה

הנתונים מורכבים מתשע תתי משימות נפרדות שמשחזרות מבחני שפה מוכרים. ביניהן תמצאו את DaNetQA למענה על שאלות כן ולא כמו בBoolQ, את RuCoS להבנת הנקרא עם היגיון בריא, ואת PARus לבחירת סיבה או תוצאה הגיונית על בסיס COPA. חלקים נוספים כוללים את RUSSE לבדיקת משמעות מילים לפי הקשר, את RCB לסיווג יחסי גרירה, סתירה או ניטרליות, את TERRa, ואת RWSD לפתרון אנפורה של סכמות וינוגרד.

המבנה של כל רשומה מותאם לאופי המשימה. בחלקן מקבלים משפט יחיד עם סימוני תווים של מילים רלוונטיות, באחרות יש טקסט מקור והיפותזה, ובחלקן שאלות עם אפשרויות בחירה. הכרטיס לא מפרט מאיזה מקורות טקסט מקוריים נאספו הנתונים או אילו שלבי סינון וניקוי בוצעו בפועל.

מתאים ל

• מדידת מודלי שפה ברוסית

  הרצת בדיקות השוואתיות על משימות היגיון, הבנת הנקרא וסיווג במבנה המקביל לסטנדרט SuperGLUE.

• אימון מודלים להסקה לוגית

  כוונון עדין של מודלים למשימות NLI וזיהוי קשרים לוגיים בין משפטים ברוסית באמצעות RCB ו־TERRa.

• מענה על שאלות סגורות

  בניית מערכות שמשיבות לשאלות כן ולא ברוסית על בסיס נתוני DaNetQA.

איפה זה נופל

במבחני הבדיקה, הפיצול של test, התוויות מסומנות במינוס אחת ואינן גלויות, כך שאי אפשר לבצע הערכה מקומית מלאה ללא הגשה ללוח התוצאות הרשמי. הדאטהסט כולו ברוסית בלבד ואין בו תמיכה בשפות אחרות. מעבר לכך, הכרטיס חסר מידע לגבי הטיות ידועות, שיטות איסוף, מגבלות תוכן, או פרטי זיהוי אישי בטקסטים.

איך טוענים

המאגר זמין לשימוש ישיר ללא צורך בהרשאת גישה מיוחדת, ומכיל 12 קבצים, רובם ארכיוני zip עבור המשימות השונות. נפח ההורדה של המשימות הבודדות נע בין עשרות קילובייטים במשימות הקטנות ועד 56.62 מגה בייט בRuCoS, שתופס 202.38 מגה בייט לאחר פריסה. בכל משימה יש שדות ספציפיים משלה, כאשר מזהה הדוגמה idx ותווית הסיווג label משותפים לרובן.

from datasets import load_dataset

ds = load_dataset("RussianNLP/russian_super_glue")

הרישיון

המאגר מופץ תחת רישיון mit. מדובר ברישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי, הפצה ושילוב במודלים ובמערכות סגורות, תחת הדרישה לשמור על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗