HRM8K
קוד פתוחHAERAE-HUBmit2025-01-13
מאגר מבחן דו לשוני שמתמקד בחשיבה מתמטית בקוריאנית ובאנגלית. הוא מציע שאלות אולימפיאדה מקוריות מקוריאה לצד תרגומים מסוננים של מבחנים מוכרים.
- 2,140הורדות בחודש
- 24לייקים
מה זה
המאגר מכיל 8,011 שאלות להערכת מודלים, ומחולק לשני מקורות עיקריים. החלק הראשון כולל 1,428 בעיות מתמטיקה ממבחנים ותחרויות בקוריאה, כמו אולימפיאדות מתמטיקה מקומיות, מבחני כניסה לאוניברסיטה ומבחני הסמכה למורים. החלק השני מכיל 6,583 בעיות שנלקחו ממאגרים מוכרים באנגלית, בהם GSM8K, MATH, OmniMath וחלקים נבחרים מתוך MMMLU.
כל שאלה עברה תרגום בין אנגלית לקוריאנית באמצעות מודל GPT-4o, ולאחר מכן בדיקה אנושית שבה נזרקו תרגומים לא מדויקים. בבעיות המקוריות מקוריאה, הנתונים חולצו מצילומי מסך של קובצי PDF ו־HWP באמצעות OCR ומודל שפה. כדי לשמור על בדיקה פשוטה, במאגרי MATH ו־OmniMath הושארו רק שאלות שהתשובה הסופית שלהן היא ערך מספרי, ללא הוכחות, טקסט חופשי או משוואות.
מתאים ל
- הערכת יכולת מתמטית
בדיקת ביצועי מודל שפה בפתרון בעיות מתמטיות מורכבות ברמת אולימפיאדה.
- בדיקת ביצועים דו לשונית
השוואת יכולת ההסקה של המודל באנגלית מול קוריאנית על אותן שאלות בדיוק.
- מדידת זיהום נתונים
בחינת מודלים על שאלות מקוריות מקוריאה שלא נסרקו ישירות ברשת.
איפה זה נופל
המאגר מיועד לבדיקה ולהערכה בלבד, ולא לאימון. השפות מוגבלות לאנגלית וקוריאנית, כך שהוא לא יעזור למי שמחפש כיסוי בעברית. בנוסף, כל התרגומים נשענים על GPT-4o וכל חילוץ הטקסט המקורי התבסס על זיהוי תמונה, כך שטעויות תרגום או חילוץ עדינות עדיין עשויות להסתתר בפנים למרות הסינון האנושי. הבחירה להשאיר רק תשובות מספריות בחלק מהמבחנים גם חותכת החוצה בעיות שדורשות ניסוח הוכחה מלאה.
שאלות
נפוצות
האם מותר להשתמש במאגר לצרכים מסחריים?
המאגר מפורסם תחת רישיון MIT, מה שמתיר שימוש מסחרי באופן חופשי. עם זאת, הנתונים מיועדים להערכת מודלים ולא לאימון, וחלק מהשאלות מבוססות על מבחנים לאומיים ומאגרים חיצוניים. כדאי לוודא שדרישות הרישוי המקוריות של המבחנים עצמם מתאימות לאופי השימוש שלכם.
האם יש במאגר שאלות בעברית?
אין במאגר עברית בכלל. כל 8,011 השאלות קיימות בשתי שפות בלבד, קוריאנית ואנגלית. אם המטרה היא לבחון ביצועים מתמטיים בעברית, תצטרכו לתרגם את השאלות בעצמכם.
איך אספו את השאלות מקוריאה ואיך וידאו שהמודלים לא מכירים אותן?
היוצרים הורידו ידנית קובצי PDF ומסמכים סגורים, צילמו מסך וחילצו את המלל באמצעות זיהוי תווים של מודל שפה. בהמשך הם השוו את השאלות מול מאגר טקסט ענק של 95 גיגה בייט בקוריאנית מתוך FineWeb-2. הבדיקה לא מצאה אף התאמה מלאה של ניסוחי השאלות, בעיקר בגלל שהחומר לא נסרק ישירות מדפי אינטרנט פתוחים.
במה המאגר הזה שונה מ־GSM8K או MATH הרגילים?
הוא מוסיף 1,428 שאלות מקוריות מתחרויות ואולימפיאדות בקוריאה שאינן חלק מהמאגרים המוכרים במערב. בנוסף, כל השאלות עברו התאמה ותרגום דו לשוני מלא בין אנגלית לקוריאנית. במבחנים הקיימים סוננו החוצה שאלות עם תשובות מלל או הוכחות, ונשארו רק בעיות שהתשובה להן היא מספר.
איך טוענים
הנתונים מחולקים לחמישה תתי מאגרים לפי המקורות שלהם: GSM8K, MATH, OMNI_MATH, MMMLU ו־KSM. הגישה חופשית לגמרי בלי צורך בהרשמה מראש או אישור. טוענים אותם ישירות דרך ספריית datasets בקוד פייתון עם פיצול המבחן test, כאשר הקבצים עצמם שמורים בפורמט CSV נוח לעבודה.
from datasets import load_dataset
ds = load_dataset("HAERAE-HUB/HRM8K")הרישיון
הרישיון המדווח הוא MIT. מדובר ברישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי והפצה, כל עוד שומרים על הודעת זכויות היוצרים המקורית. אין כאן חובת שיתוף באותו רישיון עבור תוצרים או מודלים שנבדקים מולו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש