GSM8K_zh

מה זה

המאגר מציע גרסה סינית למערך הבעיות של GSM8K המקורי מבית OpenAI, שכולל שאלות בחשבון ברמת בית ספר יסודי הדורשות מספר שלבי פתרון. כל צמדי השאלות והתשובות עברו תרגום אוטומטי מאנגלית לסינית באמצעות מודל GPT-3.5-Turbo עם פרומפט של דוגמאות בודדות, ללא עריכה אנושית שמצוינת בתיעוד.

המבנה הפנימי מחולק לשני חלקים ברורים. יש 7,473 דוגמאות שמיועדות לאימון מונחה, ובהן מקבלים גם את השאלה המתורגמת וגם את הפתרון המלא. לעומת זאת, חלק המבחן כולל 1,319 דוגמאות שנועדו להערכת מודלים, ושם תמצאו אך ורק את השאלות בסינית, ללא התשובות.

מתאים ל

• אימון מודלים בסינית

  כוונון מודלים על שאלות מתמטיות מילוליות בסינית באמצעות 7,473 דוגמאות האימון.

• הערכת ביצועים

  בדיקת יכולת המודל לייצר פתרונות מתמטיים בסינית על בסיס 1,319 שאלות המבחן.

• מחקר על תרגום מכונה

  ניתוח הפער ביכולות החישוב של מודל כשהבעיה מנוסחת בסינית מול המקור באנגלית.

איפה זה נופל

התרגום נוצר במלואו על ידי GPT-3.5-Turbo, ולכן הוא סוחב איתו שגיאות תרגום אופייניות, אי דיוקים במונחים מתמטיים והזיות אפשריות. אין כאן עברית בכלל, אלא רק סינית שמקורה באנגלית. בעיה בולטת נוספת היא שחלק המבחן כולל רק את השאלות בלי התשובות, מה שמקשה על הרצת הערכה ישירה. בנוסף, הנתונים מתבססים על GSM8K הישן, כך שמודלים מודרניים רבים כבר ראו גרסאות שלו באימון ומגיעים לרוויה.

איך טוענים

הנתונים יושבים בקובץ JSON פשוט בשם GSM8K_zh.json בתוך המאגר, ללא צורך בהרשאות גישה או מילוי טפסים. פשוט מושכים את הקובץ ישירות או טוענים אותו בספריית datasets עם המזהה meta-math/GSM8K_zh. בחלק האימון צריך לשים לב לשדות question_zh עבור השאלה ו־answer_zh עבור התשובה. בקובץ הבדיקה קיים רק השדה question_zh, כך שאם בניתם סקריפט שדורש מפתח תשובה עבור בדיקה אוטומטית, תצטרכו להביא את התשובות מהמקור באנגלית.

from datasets import load_dataset

ds = load_dataset("meta-math/GSM8K_zh")

הרישיון

המאגר מופץ תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, לשלב אותו בקוד סגור ולאמן עליו מודלים חופשי, בתנאי ששומרים על הודעת זכויות היוצרים של היוצרים. אין דרישה לפתוח את הקוד שלכם או לשתף את המודל המאומן באותו הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗