TAL-SCQ5K
קוד פתוחmath-evalmit2023-09-13
יש כאן גם סקירה על MathEval עצמו.
שאלות מתמטיות מתחרויות באנגלית ובסינית שכוללות פתרון מפורט צעד אחר צעד וסימון לטך תקני. המאגר מתאים למי שרוצה לאמן מודלים על פתרון בעיות או לבחון יכולות הסקה.
- 1,294הורדות בחודש
- 59לייקים
מה זה
המאגר כולו מורכב משאלות רב ברירה עם תשובה נכונה אחת בלבד, ומכסה רמות קושי שנעות בין בית ספר יסודי לתיכון. כל פריט כולל את נוסח השאלה, רשימת האפשרויות, התשובה הנכונה ופירוט מלא של שלבי הפתרון. הביטויים המתמטיים שמורים בפורמט לטך סטנדרטי, ויש גם תיוג של נתיב הידע המתמטי ורמת קושי שמוגדרת במספרים בין 0 ל 4.
התוכן מחולק לשתי גרסאות שפה נפרדות, אחת באנגלית ואחת בסינית. בכל גרסה יש 3K שאלות בקובץ האימון ועוד 2K שאלות בקובץ המבחן, כך שבכל שפה יש 5K שאלות. הנתונים מגיעים מקבוצת החינוך TAL Education Group ומבוססים על תחרויות מתמטיקה, כשיש שדה שמציין מאיזו תחרות השאלה נלקחה אם הפרט הזה נרשם במקור.
מתאים ל
- אימון שרשרת מחשבה
ניתוח הפתרון המפורט בכל שאלה מאפשר לאמן מודלים להסביר את שלבי ההסקה שלהם בפתרון בעיות.
- הערכת ביצועים במתמטיקה
חלוקת המבחן של 2K שאלות בכל שפה מאפשרת לבחון דיוק של מודלים מול שאלות תחרותיות סגורות.
- בדיקת יכולות דו לשוניות
קיום סטים מקבילים באנגלית ובסינית מתאים לבדיקת פערי ביצועים של מודל בין שתי השפות.
איפה זה נופל
המאגר מוגבל לשתי שפות בלבד, אנגלית וסינית. עברית לא קיימת פה כלל. בנוסף, כל השאלות הן שאלות אמריקאיות עם תשובה יחידה, כך שאי אפשר לבדוק בעזרתו שאלות פתוחות, הוכחות מורכבות או פתרונות שמצריכים קלט חופשי. הכרטיס גם לא מפרט באילו שנים השאלות נאספו, ומשאיר שדות ריקים לגבי תהליך הסינון או המגבלות של התוכן. אם אתם בונים מוצר לשוק המקומי, תצטרכו לתרגם את השאלות ולהתאים את תוכנית הלימודים, שכן רמות הקושי משקפות תחרויות בארצות הברית או סין ולא את הבגרות בישראל.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
כן. הרישיון המוגדר הוא MIT, והוא מתיר שימוש מסחרי מלא, כולל אימון מודלים המיועדים למכירה. החובה היחידה היא לשמור על תנאי הרישיון וזכויות היוצרים המקוריות בעת הפצת הנתונים.
האם יש שאלות בעברית?
לא. המאגר מחולק לשני תתי מאגרים בלבד, אחד באנגלית והשני בסינית. כדי להשתמש בו עבור תלמידים או משתמשים בישראל יש לתרגם את הטקסטים תוך שמירה על ביטויי הלטך.
מאיפה הגיעו השאלות והאם הן מייצגות רמה של בית ספר רגיל?
השאלות נאספו על ידי TAL Education Group מתוך תחרויות מתמטיקה. הן אמנם מכסות חומר של יסודי, חטיבה ותיכון, אך הרמה היא של תחרויות ולכן שונה משאלות לימוד רגילות. שדה מיוחד מציין את התחרות הספציפית אם היא תועדה.
איך בנוי כל קובץ בדאטהסט?
הנתונים שמורים בקובצי jsonl המחולקים לתיקיות TAL-SCQ5K-EN ו־TAL-SCQ5K-CN. בכל תיקייה יש קובץ train.jsonl עם 3K שאלות וקובץ test.jsonl עם 2K שאלות.
איך טוענים
טוענים את הנתונים ישירות דרך פייתון בעזרת load_dataset עם המזהה math-eval/TAL-SCQ5K. אין צורך באישור גישה מיוחד כדי להוריד את הקבצים. המאגר מורכב משישה קבצים בסך הכל, כשהנתונים שמורים בקובצי jsonl בתוך תיקיות נפרדות לגרסה האנגלית ולגרסה הסינית. אפשר לטעון את כל המאגר יחד או להגדיר תיקייה ספציפית בעזרת הפרמטר data_dir. השדות המרכזיים לעבודה הם problem, answer_option_list, answer_value והניתוח המפורט answer_analysis. שדות מזהים פנימיים כמו qid או dataset_name מיועדים למערכות הפנימיות של היוצרים והכרטיס מנחה להתעלם מהם.
from datasets import load_dataset
ds = load_dataset("math-eval/TAL-SCQ5K")הרישיון
המאגר מופץ תחת רישיון MIT. זהו רישיון מתירני שמאפשר להשתמש בנתונים למטרות מחקר ומטרות מסחריות, לשנות אותם ולשלב אותם בקוד סגור, בלי חובה לשתף את התוצר באותו רישיון. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי. הדבר מאפשר לאמן מודלים מסחריים על בסיס הנתונים ללא מגבלות הפצה על המודל שנוצר.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש