KoMT-Bench
קוד פתוחLGAI-EXAONElgpl-3.02024-08-05
מאגר שאלות רב שלביות בקוריאנית שנועד לבחון מודלי שפה על מעקב אחר הוראות. הוא מציע התאמה תרבותית מלאה למבחן MT-Bench במקום תרגום מכונה יבש.
- 111הורדות בחודש
- 42לייקים
מה זה
המאגר מבוסס על מבחן ההערכה המוכר MT-Bench, אך עבר התאמה מקיפה לשפה הקוריאנית. במקום להסתפק בהמרה מילולית מאנגלית, היוצרים תרגמו את השאלות המקוריות ושינו חלק ניכר מהן כדי שישקפו מאפיינים לשוניים והקשרים תרבותיים מקומיים בקוריאה. הדוגמאות כוללות משימות כתיבה, מתמטיקה ומדעי הרוח, כאשר בכל משימה יש סבב שיחה ראשון וסבב המשך. בחלק מהמקרים הוחלפו דרישות כמו כתיבת חמשיר בחריזה אנגלית בהוראה לשכתב את התשובה בניב קוריאני אזורי.
לאחר שלב התרגום וההתאמה התרבותית, צוות של בלשנים מומחים ביצע סקירה יסודית של כל הנתונים כדי לוודא תקינות לשונית ודיוק. החלוקה הפנימית עוקבת אחר הקטגוריות המקוריות של המבחן, והרשומות שמורות בפורמט גולמי ומוכן להערכה. המטרה היא לבדוק שיחה רב שלבית שבה המודל נדרש לענות על שאלה ראשונית, ולאחר מכן לדייק, לפשט או לשנות את סגנון התשובה בהתאם להנחיה נוספת.
מתאים ל
- הערכת מודלים בקוריאנית
בדיקת יכולת המודל לעקוב אחר הוראות מורכבות ולשמור על הקשר בשיחה רב שלבית בשפה הקוריאנית.
- השוואת ביצועים מול EXAONE
הרצת המבחן המדויק ששימש את החוקרים להשוואה מול דגמי שפה פתוחים מובילים כמו Llama ו־Gemma.
- בחינת הבנת ניבים ותרבות
בדיקת עמידות המודל בהוראות סגנוניות ייחודיות, כמו שכתוב טקסטים בניבים מקומיים של קוריאה.
איפה זה נופל
זהו כלי מדידה בלבד ולא חומר שמתאים לאימון. היקף הנתונים קטן מאוד, פחות מאלף רשומות, והוא מוגבל אך ורק לקוריאנית. אין כאן אף מילה בעברית, ולכן הוא חסר תועלת לחלוטין למי שבונה או בודק מודל לשוק המקומי בישראל. בנוסף, מדובר בהתאמה ממוקדת לקוריאה, כולל ניבים מקומיים, כך שמודל שלא ראה טקסטים קוריאניים מגוונים ייכשל כאן גם אם יכולת השיחה הכללית שלו באנגלית מצוינת.
שאלות
נפוצות
האם המאגר כולל עברית?
לא. המאגר מיועד כולו לשפה הקוריאנית, נכתב ונבדק בידי בלשנים מקומיים, ואינו מכיל שום תוכן בעברית.
במה הוא שונה מ־MT-Bench הרגיל?
במקום תרגום מילולי מאנגלית, השאלות עברו התאמה מלאה לתרבות ולשפה הקוריאנית. משימות כתיבה מותאמות למשל לניבים אזוריים במקום לחמשירים באנגלית.
האם מותר להשתמש בו לאימון מודל מסחרי?
הרישיון הוא LGPL 3.0, שמתיר שימוש מסחרי אך כולל סעיפי שיתוף תחת אותו רישיון עבור שינויים ויצירות נגזרות. בגלל המורכבות הזו, נהוג להשתמש בו להערכת מודלים ולא כחומר לאימון משקלים.
כמה שוקל הדאטהסט ואיך מורידים אותו?
המאגר מכיל פחות מאלף שאלות והמשקל שלו אפסי. אפשר למשוך אותו דרך ספריית Hugging Face או להוריד את קובץ ה־JSONL ישירות מתיקיית raw במאגר.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות המזהה LGAI-EXAONE/KoMT-Bench, או מורידים את קובץ ה־Parquet או את קובץ ה־JSONL הגולמי שיושב בתיקיית raw. המאגר פתוח לציבור ואינו דורש אישור גישה מיוחד. ההיקף הכולל זעיר, פחות מאלף רשומות, כך שההורדה מתבצעת תוך שניות בודדות. סקריפטים מלאים להרצת ההערכה מול מודלים זמינים במאגר הגיטהאב של הפרויקט.
from datasets import load_dataset
ds = load_dataset("LGAI-EXAONE/KoMT-Bench")הרישיון
המאגר שוחרר ברישיון LGPL 3.0. רישיון זה מתיר שימוש מסחרי, אך מחייב שיתוף של שינויים שנעשו בקוד או בנתונים עצמם תחת אותו רישיון בדיוק ומתן קרדיט ליוצרים. המשמעות לגבי מודל שאומן על הנתונים מורכבת מבחינה משפטית בכל הנוגע ליצירה נגזרת, ולכן לרוב עדיף להגביל את השימוש להרצת מבחני ביצועים בלבד.