Ziya-Eval-Chinese

מה זה

במאגר תמצאו פחות מאלף רשומות שמיועדות לבדיקת ביצועים של מודלים בסינית בלבד. כל שורה בנתונים מכילה שלושה שדות: מחלקה כללית, תת סוג מדויק יותר של המשימה, והשאילתה עצמה שהמודל צריך לענות עליה. בדוגמה שהמפתחים מציגים מופיעה קטגוריה של שאלות ותשובות, תחת סוג של חידות מילים, עם שאלה קונקרטית בסינית.

הכרטיס לא מפרט מאיפה נאספו הנתונים, מי ניסח אותם או אם עברו סינון אנושי או אוטומטי. החלוקה הפנימית מבוססת על הקובץ היחיד שנמצא שם למבחן, כך שאין כאן פיצול לסט אימון וסט אימות אלא רק קובץ בדיקה בפורמט שורות ג'ייסון.

מתאים ל

• בדיקת מודלים בסינית

  הרצת שאלות מגוונות לבדיקת הבנה ויצירת טקסט בסינית מול מודל שפה.

• חלוקת ביצועים לקטגוריות

  שימוש בשדות הסיווג כדי לראות באילו סוגי משימות המודל מתקשה.

• מבחן ביצועים קל משקל

  הרצת הערכה זולה ומהירה בזכות גודל המדגם, בלי להעמיס על השרת.

איפה זה נופל

הבעיה המרכזית היא חוסר השקיפות. המפרסמים לא כתבו מאיפה הגיעו השאלות, מה גודל המדגם המדויק או אילו הטיות תרבותיות קיימות בפנים. אין פה מילה בעברית או באנגלית, רק סינית. בנוסף, אין בנתונים תשובות נכונות מוכנות, מה שמחייב אתכם לבדוק את פלטי המודל ידנית או בעזרת מודל שופט חיצוני.

איך טוענים

טוענים את הקובץ ישירות דרך ספריית הנתונים של האגינג פייס לפי הנתיב שלו, בלי צורך באישור גישה או הרשמה מיוחדת. הסט כולו יושב בקובץ test.jsonl קטן מאוד, כך שההורדה לוקחת שניות בודדות. השדות שמעניינים אתכם בקוד הם query עבור הקלט למודל, ו־class יחד עם type לצורך חיתוך וסינון התוצאות לפי קטגוריות.

from datasets import load_dataset

ds = load_dataset("IDEA-CCNL/Ziya-Eval-Chinese")

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בנתונים למטרות מסחריות, לשנות אותם ולשלב אותם במערכות פנימיות, כל עוד שומרים על הודעת זכויות היוצרים המקורית. הרישיון לא מחייב אתכם לחשוף את הקוד שלכם או לשחרר מודלים תחת אותו רישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗