PHYBench

מה זה

המאגר כולל 500 בעיות מקוריות בפיזיקה שנכתבו על ידי 178 סטודנטים לפיזיקה מאוניברסיטת פקינג. השאלות מכסות מכניקה, אלקטרומגנטיות, תרמודינמיקה, אופטיקה, פיזיקה מודרנית ונושאים מתקדמים. התשובה הנדרשת לכל בעיה היא ביטוי סימבולי יחיד ומדויק בפורמט LaTeX, ללא קירובים מספריים וללא צורך בדיאגרמות חיצוניות.

תהליך הבקרה כלל שלושה שלבים: סינון ראשוני של ניסוחי השאלות, זיהוי ותיקון עמימות באמצעות הרצה על מודלי שפה, ופתרון עצמאי של מדגם שאלות בידי 81 סטודנטים שקבעו רף אנושי של 61.9 אחוזי דיוק. החלוקה בפועל מפרידה בין קובץ של 100 שאלות הכולל פתרונות מלאים בכתב יד, תגיות ותשובות סופיות, לבין קובץ של 400 שאלות הכולל רק את השאלות והתגיות, לצד קובץ מאוחד של כלל 500 השאלות.

מתאים ל

• הערכת שרשראות חשיבה

  בדיקת יכולת המודל לייצר הסקה מרובת שלבים ללא נפילה בשגיאות אלגבריות.

• מדידת הבנה סמנטית

  זיהוי כשלים במידול חוקי הפיזיקה ותרגומם למשוואות לעומת טעויות חישוב.

• בדיקות סקיילינג בזמן ריצה

  השוואת ביצועי מודל במדגמי תשובות מרובים או הצבעת רוב על שאלות קשות.

איפה זה נופל

הטקסט כולו באנגלית בלבד, ואין ייצוג לעברית או לתרחישים מקומיים. המגבלה המרכזית בנתונים היא שרק ל־100 מתוך 500 השאלות מצורפים פתרונות מלאים בטקסט, בעוד 400 הנותרות כוללות רק שאלה ותגיות. בנוסף, המאגר מתמקד כולו בבעיות טקסטואליות ומתעלם לחלוטין מדיאגרמות וממידע רב מודלי, כך שאינו מתאים לבדיקת תפיסה חזותית פיזיקלית.

איך טוענים

המאגר פתוח לציבור בפורמט JSON ללא צורך בהרשאת גישה מיוחדת, וכולל קבצים נפרדים בהתאם לצורך: קובץ עם 100 דוגמאות מפורטות ופתרונות, קובץ עם 400 שאלות ותגיות בלבד, וקובץ של כל 500 השאלות. כדי לחשב את ציון ה־EED המומלץ במאמר, יש להתקין את ספריית sympy לצורך פישוט הביטויים ולהשתמש בקוד הייעודי של מחברי המאגר המבוסס על עצי ביטויים.

from datasets import load_dataset

ds = load_dataset("Eureka-Lab/PHYBench")

הרישיון

המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש חופשי לחלוטין, כולל שימוש מסחרי, שינוי הנתונים ושילובם במוצרים מסחריים. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי, ללא דרישה לשתף תוצרי מודלים תחת אותו רישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗