KoBALT-700
קוד פתוחsnunlpcc-by-nc-4.02025-05-15
מבחן ביצועים של 700 שאלות רב ברירה שבודק הבנה בלשנית עמוקה בקוריאנית. מיועד למי שרוצה לאבחן כשלים דקדוקיים וסמנטיים במודלי שפה בלי זליגת נתונים מאימונים קודמים.
- 2,124הורדות בחודש
- 24לייקים
מה זה
המאגר כולל 700 שאלות רב ברירה בקוריאנית, שמחולקות לחמישה תחומים בלשניים: תחביר עם 300 שאלות, סמנטיקה עם 215, פרגמטיקה עם 81, פונטיקה ופונולוגיה עם 62, ומורפולוגיה עם 42. השאלות מכסות 24 תופעות שונות, כולל התאם, מבנה ארגומנטים, ביטויים פיגורטיביים וסדר מילים גמיש.
הפריטים נבנו בשילוב של מומחים אנושיים ויצירה מבוססת מודלים, במטרה לבחון יכולת אמיתית ולא ניחוש. לפי המפתחים, יש חפיפה נמוכה מאוד עם קורפוסים קוריאניים מוכרים, פחות מ 8.6% בביגרמים ופחות מ 0.7% בטריגרמים. הנתונים מחולקים גם לשלוש רמות קושי: 182 שאלות קלות, 220 בינוניות ו 298 קשות.
מתאים ל
- בנצ'מרק למודלים בקוריאנית
הרצת בדיקה נקודתית של 700 שאלות לאבחון דיוק דקדוקי וסמנטי של מודל שפה.
- בדיקת כשלים מורפולוגיים
סינון לפי רמות קושי ותתי תחומים כדי לזהות איפה בדיוק המודל נכשל בשפה מורכבת.
- השוואת מודלים מתחרים
מדידת ביצועים מול נתוני הבסיס של Claude, GPT ו DeepSeek המופיעים במאגר.
איפה זה נופל
זהו מאגר הערכה בלבד ולא דאטהסט לאימון, בשל גודלו המצומצם שכולל 700 שאלות בלבד. כל הטקסטים כתובים בקוריאנית, ללא מילה אחת בעברית או באנגלית, כך שהוא לא יעזור לבדיקת ביצועים מקומיים בארץ. הפילוח הלשוני אינו מאוזן, כאשר תחביר וסמנטיקה תופסים יחד מעל 70% מהמאגר בעוד מורפולוגיה מקבלת 42 שאלות בלבד, כך שכיסוי תופעות ההטיה בקוריאנית חלקי מאוד.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון הוא cc-by-nc-4.0 ואוסר במפורש שימוש מסחרי. המאגר מתאים למחקר אקדמי, בדיקות פנימיות ובנצ'מרקינג שאינו למטרות רווח.
האם יש במאגר טקסטים בעברית או באנגלית?
לא. כל השאלות, התשובות וההקשרים כתובים בקוריאנית בלבד. המבנה והסכמה באנגלית, אבל התוכן מיועד נטו לבלשנות קוריאנית.
כמה המאגר גדול ואיך הוא שמור?
המאגר קטן מאוד ומכיל 700 רשומות בלבד. הוא מאוחסן בפורמט train.jsonl ושוקל פחות ממגה בייט בודד, מה שמאפשר להוריד ולהריץ אותו בשניות ספורות.
למה המאגר עדיף על בנצ'מרקים קיימים בקוריאנית?
הוא פותח בידי מומחי בלשנות עם חפיפה של פחות מ 0.7% בטריגרמים לקורפוסים מוכרים. זה מונע כמעט לחלוטין זיהום נתונים שמודלים שיננו באימון מוקדם.
איך טוענים
טוענים את המאגר ישירות דרך ספריית datasets באמצעות הפקודה load_dataset עם המזהה snunlp/KoBALT-700 והתצורה kobalt_v1. אין צורך באישור גישה מראש. הקבצים שמורים בפורמט jsonl בתוך data/train.jsonl וגודלם זעיר ביחס למאגרי אימון. כל רשומה מחזיקה מזהה ייחודי, שיוך לתחום ראשי ולתת תחום, שאלת רב ברירה שמכילה עד עשר אפשרויות מענה (A עד J), תשובה נכונה, רמת קושי ודגל שמציין אם הפריט נכלל במבחן העדפות אנושי.
from datasets import load_dataset
ds = load_dataset("snunlp/KoBALT-700")הרישיון
המאגר מופץ תחת רישיון cc-by-nc-4.0. המשמעות ברורה: שימוש מחקרי ולא מסחרי בלבד, תוך מתן קרדיט מלא לחוקרים ממעבדת SNU NLP ומחקר ה AI של LG. אסור להשתמש בנתונים למוצרים שמייצרים הכנסה, וכל נגזרת ישירה של הדאטהסט חייבת להישאר לא מסחרית. מודל שיאומן ישירות עליו יהיה מוגבל בשימוש מסחרי, אך שימוש בו כמבחן הערכה למודלים מסחריים מותר לצורכי מחקר פנימי.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא