TCEval-v2

מה זה

המאגר מאגד מבחנים להערכת ביצועים בפורמטים מגוונים. הוא כולל תתי-מערכים של מבחני ידע מרובי ברירה תחת tmmluplus במגוון תחומים, החל מחשבונאות ורפואה ועד משפטים וגאוגרפיה מקומית. כל רשומה בחלקים אלה מכילה שאלה, מסיחים ואת התשובה הנכונה.

בנוסף קיימות משימות הבנת הנקרא כמו drcd, שאלות טבלאיות ב־penguin_table, ודיאלוגים מרובי שלבים תחת גרסה מותאמת של mt_bench_tw. החלוקה הפנימית מפרידה בין נושאי שיחה כמו כתיבה, תכנות, חשיבה כמותית ומשחקי תפקידים, לצד משימות שליפה בתיקיית TW-RAG. הנתונים מחולקים בעיקר לסטים של בדיקה ופיתוח ממוקדים, ללא אימון נרחב.

מתאים ל

• בנצ'מרק למודלים בטייוואן

  מדידת ביצועים של מודלי שפה בסינית מסורתית מול מבחני ידע מקצועיים מרובי ברירה.

• בדיקת שיחה מרובת שלבים

  הרצת תרחישי דיאלוג מובנים בתכנות וכתיבה דרך התאמות מקומיות של מבחני שיחה.

• הערכת הבנת הנקרא

  בחינת יכולת חילוץ תשובות מתוך פסקאות טקסט מורכבות באמצעות משימות drcd.

איפה זה נופל

זהו אוסף שנועד להערכה בלבד ולא לאימון מודלים, עם מדגמי פיתוח זעירים של חמש דוגמאות ברוב התצורות. התוכן כולו בסינית מסורתית ומותאם להקשר החוקי והתרבותי של טייוואן, כך שהוא חסר תועלת לחלוטין עבור שפות אחרות כולל עברית. חסר תיעוד בכרטיס לגבי מקורות האיסוף, אופן הסינון של השאלות או רמת העדכון של החומר המקצועי.

איך טוענים

הטעינה מתבצעת ישירות מקבצי parquet באמצעות ספריית datasets עם ציון שם התצורה הרצויה, למשל drcd או אחד מנושאי tmmluplus. הקבצים קטנים מאוד ושוקלים לרוב עשרות קילובייטים בודדים עד מגהבייטים בודדים לתצורה. המאגר פתוח להורדה ישירה ואינו דורש אישור גישה. בעבודה עם נתוני המבחנים חשוב לשים לב לשדות התשובות והאפשרויות, בעוד שבמבחני השיחה המבנה נשען על רשימת שלבים ומחייב טיפול שונה בקוד.

from datasets import load_dataset

ds = load_dataset("MediaTek-Research/TCEval-v2")

הרישיון

היוצרים לא דיווחו על רישיון כלל במאגר. מצב כזה משאיר את זכויות היוצרים מעורפלות מבחינה משפטית, ומונע שימוש מסחרי בטוח במוצרים או במודלים שנשענים עליו. מומלץ להגביל את השימוש להרצה פנימית של בדיקות ביצועים ומחקר בלבד, עד להבהרת תנאי השימוש מול המפרסם.

הרישיון המלא ב־Hugging Face ↗