TheoremQA

מה זה

המאגר כולל 800 זוגות של שאלות ותשובות שמתבססות על יותר מ־350 משפטים שונים. התוכן מכסה ארבעה תחומים מרכזיים: מתמטיקה, מדעי המחשב והנדסת חשמל, פיזיקה, ומימון. מדובר בשאלות מורכבות ברמה אוניברסיטאית שנכתבו ונאספו ידנית על ידי מומחים אנושיים, במטרה לבחון יישום של נוסחאות ועקרונות מדעיים מוגדרים.

כל החומר מרוכז כולו תחת חלק בדיקה יחיד, ללא פיצול מובנה לאימון או וולידציה. המבנה הזה מכוון לבדיקת ביצועים ישירה של מודלים. לצד השאלות, החוקרים פיתחו שיטת הערכה שמריצה בדיקות מול וולפרם אלפא כדי לוודא את דיוק הפלטים שהמודלים מחזירים.

מתאים ל

• הערכת יכולת אנליטית

  בדיקת מודלי שפה על פתרון בעיות חישוביות שמבוססות על משפטים מדעיים.

• ולידציה להנדסת פרומפטים

  בחינה אם הנחיות לפתרון שלב-אחר-שלב משפרות שימוש בנוסחאות מורכבות.

• בדיקת שילוב כלים חיצוניים

  מדידת הדיוק של סוכנים שמשלבים מנועי חישוב כמו וולפרם אלפא.

איפה זה נופל

זה לא מאגר שמיועד לאימון מודלים מאפס, אלא בנצ'מרק צר של 800 דוגמאות בלבד שיושבות כולן בפיצול בדיקה. הנתונים קיימים באנגלית בלבד ואין פה ייצוג לעברית. אם המערכת שלכם צריכה לפתור בעיות בניסוח מקומי, תצטרכו לתרגם ולבדוק שהמונחים המדעיים לא השתבשו. בנוסף, ההסתמכות על כלי חישובי חיצוני לצורך ההערכה דורשת התאמה בתהליך הבדיקה שלכם.

איך טוענים

טוענים את הנתונים ישירות דרך הספרייה הרגילה של Hugging Face בפקודת load_dataset פשוטה, ללא צורך באישור גישה מראש. הקובץ שמחזיק את השאלות מגיע בפורמט parquet יחיד תחת test, והנפח הכולל קטן מאוד ומכיל פחות מאלף רשומות, כך שהוא יורד ונכנס לזיכרון תוך שניות בודדות.

from datasets import load_dataset

ds = load_dataset("TIGER-Lab/TheoremQA")

הרישיון

המאגר מופץ תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים ומחקריים, לשנות אותו ולשלב אותו במערכות אחרות, כל עוד משאירים את הצהרת זכויות היוצרים המקורית. הרישיון לא מחייב אתכם לשחרר מודלים שאומנו או נבדקו עליו בקוד פתוח.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗