HAE_RAE_BENCH_1.1
קוד פתוחHAERAE-HUBcc-by-nc-nd-4.02023-09-25
המאגר כולל מבחני ברירה מרובה להערכת מודלי שפה על תרבות והקשר קוריאניים. מי שמפתח לשוק הקוריאני ירצה אותו כדי לבדוק שליטה בידע מקומי, שפה והיסטוריה.
- 5,074הורדות בחודש
- 20לייקים
מה זה
המאגר מכיל 4,900 שאלות שמחולקות ל־13 משימות הערכה שונות. חלק מהמשימות עוסקות בידע לשוני טהור כמו מילים נדירות, מילים שאולות, מינוח תקני והתאמת הגדרות להקשר, שמקורן במכון הלאומי לשפה קוריאנית NIKL. משימות אחרות בודקות שחזור פתגמים ומילות שירים של פופ קוריאני.
חלק משמעותי מבוסס על מבחני הכניסה לאוניברסיטאות בקוריאה, ה־CSAT. החלקים האלה מכסים הבנת הנקרא, משפטים, גאוגרפיה ומדעי החברה. יש כאן גם שאלות על הבנת ביטויי תאריכים, היסטוריה קוריאנית וידע כללי תרבותי.
גרסה 1.1 החליפה את מבחן הבנת הנקרא המקורי של גרסה 1.0 בגלל בעיות של זכויות יוצרים, והוסיפה את השאלות ממבחני ה־CSAT. כל הרשומות מגיעות בתבנית של שאלות רב-ברירה.
מתאים ל
- בנצ'מרק למודלים בקוריאנית
הרצת מבחני השוואה לבדיקת ידע של מודלי שפה בהיסטוריה, תרבות ומונחים קוריאניים.
- בדיקת הבנת הנקרא מתקדמת
בחינת יכולות הסקה וקריאה של מודלים מול שאלות מורכבות ממבחני ה־CSAT.
- מחקר על שחזור טקסט
בדיקת יכולת המודל להשלים ולשחזר פתגמים ומילות שירים מקומיים שנפגמו.
איפה זה נופל
המאגר מוגבל כולו לקוריאנית בלבד, ואין בו שום תוכן בעברית או באנגלית. בנוסף, מדובר במבחן הערכה בלבד ולא במאגר לאימון, עם היקף קטן של 4,900 שאלות בסך הכל. חלק מהתוכן מהגרסה המקורית הוסר עקב בעיות זכויות יוצרים, מה שמראה שהיוצרים נאלצו לעשות פשרות בכיסוי. הוא מודד בעיקר ידע ספציפי של מבחנים קוריאניים ולא בהכרח שיחה חופשית או שפה יומיומית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון מוגדר תחת cc-by-nc-nd-4.0 שמונע במפורש כל שימוש מסחרי. המאגר מיועד למטרות מחקר והערכה אקדמית בלבד.
האם יש במאגר שאלות בעברית?
אין בו שום תוכן בעברית. כל הנתונים, המשימות והשאלות נכתבו בקוריאנית ומיועדים לבדיקת הבנה של התרבות והשפה הקוריאנית.
מה שונה בין גרסה 1.1 לגרסה 1.0?
בגרסה 1.1 הוסר חלק הבנת הנקרא המקורי עקב מגבלות זכויות יוצרים. במקומו הכניסו שאלות חדשות שמקורן במבחני הכניסה לאוניברסיטה בקוריאה.
האם המאגר מתאים לאימון מודל שפה?
הוא לא מיועד לזה. יש בו 4,900 דוגמאות בלבד במבנה של שאלות ברירה מרובה, שנועדו למדוד ביצועים של מודל קיים ולא לאמן אותו מאפס.
איך טוענים
הנתונים שמורים בקובצי parquet לפי משימות, למשל לקבצים ייעודיים להיסטוריה, חוק או הבנת תאריכים. טוענים אותם ישירות מ־Hugging Face בלי צורך באישור גישה מיוחד. המאגר קטן יחסית ומכיל 15 קבצים בסך הכל. שדות המפתח מייצגים שאלות אמריקאיות, כך שצריך לחלץ את הטקסט, האפשרויות והתשובה הנכונה לפי המבנה של כל משימה.
from datasets import load_dataset
ds = load_dataset("HAERAE-HUB/HAE_RAE_BENCH_1.1")הרישיון
הרישיון הוא cc-by-nc-nd-4.0. המשמעות היא איסור מוחלט על שימוש מסחרי מכל סוג, חובת מתן קרדיט ליוצרים, ואיסור על הפצת נגזרות או שינויים של הדאטהסט. אם תאמנו עליו מודל, סביר מאוד שלא תוכלו להשתמש בו במוצר מסחרי או למכור גישה אליו. זהו כלי למחקר בלבד.