PhyX

מה זה

המאגר מכיל 3,000 שאלות רב מודליות מבוססות תמונות ברמת אוניברסיטה. הנתונים מתחלקים לשישה תחומים מרכזיים: מכניקה ואלקטרומגנטיות עם 550 שאלות בכל אחת, תרמודינמיקה, אופטיקה, גלים ואקוסטיקה עם 500 שאלות לכל תחום, ופיזיקה מודרנית עם 400 שאלות. השאלות נוגעות ב־25 תתי תחומים ומכסות שישה סוגי הסקה פיזיקלית שדורשים שילוב של מידע חזותי וחוקים מדעיים. הכרטיס אינו מפרט את מקורות האיסוף המקוריים או הליך הסינון המדויק מעבר להגדרה שהשאלות נאספו בקפידה.

מבחינת מבנה, הנתונים מחולקים לשתי גרסאות היקף: סט הבדיקה המלא עם 3,000 שאלות, וערכת מיני בשם testmini עם 1,000 שאלות. כל שאלה מופיעה בשני פורמטים עיקריים להערכה: שאלות רב ברירה (MC) ושאלות פתוחות (OE).

מתאים ל

• הערכת מודלי ראייה שפה

  בדיקת יכולת המודל לחבר תרשימים חזותיים עם חוקי פיזיקה מתקדמים.

• מבחן ביצועים מהיר

  הרצת סט המיני שכולל אלף שאלות לקבלת מדד ראשוני בזמן קצר.

• בדיקת שאלות פתוחות מול סגורות

  השוואה בין יכולת הנימוק של המודל בפורמט בחירה לעומת מענה חופשי.

איפה זה נופל

כל השאלות והתיאורים מופיעים באנגלית בלבד, ואין כאן נתונים בעברית. המאגר מתמקד ברמת קושי אקדמית גבוהה, כך שהוא לא מתאים לבדיקת הבנה בסיסית של חוקי טבע יומיומיים. הכרטיס אינו חושף מהם מקורות התמונות והתרשימים, ולכן יש לבדוק ידנית את איכות ההסקה מול התמונות לפני שמסתמכים על התוצאות למוצר ייעודי.

איך טוענים

אין צורך באישור גישה כדי להוריד את הקבצים. המאגר מציע קובצי Parquet וקובצי TSV מוכנים, שמתאימים ישירות לכלים כמו VLMEvalKit ו־lmms-eval. השדות המרכזיים בכל רשומה כוללים את הטקסט המקורי והמקוצר של השאלה, אפשרויות התשובה, התשובה הנכונה, שם קובץ התמונה המשויך, סיווג התחום הפיזיקלי וסוג ההסקה הנדרש.

from datasets import load_dataset

ds = load_dataset("Cloudriver/PhyX")

הרישיון

המאגר מופץ תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים ומחקריים, לשנות אותו ולהפיץ מודלים שאומנו או הוערכו עליו, בתנאי ששומרים על הודעת זכויות היוצרים ונוסח הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗