TheoremExplainBench
קוד פתוחTIGER-Labmit2025-02-22
המאגר כולל משפטים מדעיים להערכת היכולת של מודלים להסביר רעיונות מורכבים בווידאו. הוא מתאים למי שבונה מודלים שמייצרים קוד אנימציה של מנים להסבר תיאוריות.
- 62הורדות בחודש
- 31לייקים
מה זה
המאגר בנוי כבנצ'מרק להערכת מודלי שפה שמפיקים הסברים מולטימודליים ארוכים, בדגש על אנימציות בקוד מנים. יש בו 240 משפטים מדעיים ומתמטיים שנאספו מתוך פלטפורמות הלימוד הפתוחות LibreTexts ו־OpenStax על ידי מקס קו ותומאס צ'ונג.
המבנה מחולק באופן שווה לגמרי בין שלוש רמות קושי: 80 משפטים קלים, 80 בינוניים ו־80 קשים. בכל אחת מרמות הקושי יש חלוקה אחידה לארבעה תחומי ידע, עם 20 משפטים לכל תחום: מדעי המחשב, מתמטיקה, פיזיקה וכימיה.
לכל משפט מוצמד שדה תיאור ייעודי. יוצרי המאגר מציינים בפירוש שהתיאור לא בהכרח מסביר את המשפט במלואו, אלא נועד רק לספק הקשר שיעזור למודל השפה להבחין בהקשר הספציפי שבו המשפט מיושם.
מתאים ל
- מבחן ביצועים להפקת מנים
בדיקת יכולת המודל לייצר קוד מנים להסבר ויזואלי של משפט מדעי.
- הערכת הסברים מולטימודליים
מדידת הדיוק והעומק של מודלים בהסבר משולב של טקסט ואנימציות מדעיות.
- בדיקת הבנה מדעית לפי רמות
בחינת יכולת ההסבר של מודל על פני רמות קושי שונות בארבעה מקצועות.
איפה זה נופל
זהו מאגר קטן שמכיל 240 דוגמאות בלבד, ולכן הוא מיועד להערכה ולא לאימון רחב. המאגר קיים באנגלית בלבד ואין בו עברית. שדות התיאור חלקיים במכוון ולא מספקים הסבר מלא על המשפט, כך שאי אפשר להסתמך עליהם כאמת קרקע מלאה לפתרונות. בנוסף, הוא מתמקד בארבעה תחומי מדע מדויק ומבוסס רק על שני מקורות לימוד פתוחים.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצרים מסחריים?
כן, המאגר פורסם תחת רישיון MIT הפתוח. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי והפצה של המידע. הדרישה היחידה היא לשמור על הצהרת הרישיון וזכויות היוצרים המקוריות.
האם יש במאגר נתונים בעברית?
לא, המאגר כולל אך ורק תכנים באנגלית. כל 240 המשפטים והתיאורים שלהם הגיעו ממקורות לימוד בינלאומיים בשפה זו. כדי לבחון מודלים בעברית תצטרכו לתרגם את הנתונים בעצמכם.
מאיפה נאספו הנתונים?
הנתונים נאספו משני מאגרים מקוונים של ספרי לימוד פתוחים: LibreTexts ו־OpenStax. האוצרים דלו מהם משפטים בארבעה תחומים מדעיים וחילקו אותם לרמות קושי שונות לצורך הבנצ'מרק.
איך טוענים
טוענים את הנתונים דרך ספריית הדאטהסטים הרגילה של האגינג פייס ישירות מקובץ הפרקט היחיד שיושב במאגר. המאגר ציבורי ואינו דורש אישור גישה מראש. השדות המרכזיים כוללים את המשפט המדעי, תחום הידע, רמת הקושי ושדה התיאור. המאגר קל מאוד להורדה ולעיבוד מקומי בגלל היקף הנתונים הממוקד.
from datasets import load_dataset
ds = load_dataset("TIGER-Lab/TheoremExplainBench")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש מסחרי, שינוי והפצה, כל עוד שומרים על הודעת זכויות היוצרים המקורית. אין חובה לשתף פיתוחים תחת אותו רישיון, ומותר להשתמש בנתונים כדי לבחון או לאמן מודלים לכל מטרה.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש