Multimodal-STEM-HLE-plus-plus

מה זה

המאגר כולל בדיוק חמישים משימות פתוחות ברמה של תארים מתקדמים ודוקטורט. כל רשומה משלבת בין קלט טקסטואלי בפורמט לאטך לבין תמונה, כמו דיאגרמות, גרפים מדעיים, נוסחאות או טבלאות, ודורשת הסקת מסקנות משולבת כדי להגיע לתשובה הסופית המאומתת.

המשימות מחולקות לשישה תחומים מדעיים: עשר משימות בפיזיקה, עשר במתמטיקה, עשר בכימיה, עשר בביולוגיה, חמש במדעי המחשב וחמש בהנדסה. בסך הכל מכוסים כאן ארבעים ואחד תתי תחומים ספציפיים, והשאלות כוללות שרשרת נימוק שלב אחר שלב שמיועדת לבדיקת תשובות מדויקת.

הכרטיס לא מפרט מאיזה מקורות בדיוק נאספו השאלות או מי כתב כל תרגיל באופן ספציפי, מעבר לכך שהעבודה נעשתה בידי צוות הפיתוח של טיורינג אנטרפרייזס.

מתאים ל

• הערכת מודלים חזקים

  בדיקת יכולת פתרון בעיות קצה במדעים מדויקים על מודלים שהגיעו לרוויה במבחנים סטנדרטיים.

• אימון עם תגמול מאומת

  שילוב התשובות והנימוקים בתהליכי RLVR שדורשים בדיקה חד משמעית של נכונות הפתרון.

• איתור פערי הסקה בתמונות

  זיהוי נקודות שבהן המודל כושל בקריאת גרפים ותרשימים מדעיים מורכבים במקביל לטקסט.

איפה זה נופל

עם חמישים דוגמאות בלבד, זה לא מאגר לאימון מודלים מאפס, אלא סט בדיקה זעיר או מדגם קטן לחידוד תהליכי תגמול. הכרטיס מדווח על כעשרים אחוז דיוק בלבד במודלים מובילים, כך שמדובר בבעיות קיצוניות בקושי שלהן.

אין כאן מילה אחת בעברית, כל הטקסטים והמונחים המדעיים מנוסחים באנגלית בלבד. בנוסף, חלוקת התחומים לא אחידה, עם משקל כפול למדעים מדויקים לעומת הנדסה ומדעי המחשב, והכרטיס לא חושף את שיטת איסוף הנתונים או בקרת האיכות שבוצעה עליהם מעבר לצוות הכותבים.

איך טוענים

טוענים את הנתונים ישירות דרך הספרייה הרגילה של האגינג פייס עם פקודת load_dataset עבור הספליט train, בלי צורך לבקש אישור גישה מוקדם. המאגר שוקל מעט מאוד, מכיל קובץ פרקט יחיד וקובץ סי אס וי, ומתאים לעבודה מיידית בלי צווארי בקבוק של רוחב פס.

הרשומות מכילות עמודות ברורות עבור מזהה המשימה, התחום, תת התחום, שאלת הפרומפט, התשובה הסופית המאומתת ועמודת תמונה. כדאי לשים לב שפורמט הפרומפטים והתשובות מסתמך על לאטך, ולכן קוד הבדיקה שלכם צריך לדעת לפרסר ולתקנן את הפורמט הזה בצורה אמינה.

from datasets import load_dataset

ds = load_dataset("TuringEnterprises/Multimodal-STEM-HLE-plus-plus")

הרישיון

המאגר מפורסם תחת רישיון MIT. המשמעות היא שאתם חופשיים להשתמש בנתונים לכל מטרה, כולל שימוש מסחרי, אימון מודלים ובדיקות פנימיות. הרישיון לא מחייב אתכם לשתף את המודל או את הקוד שלכם תחת אותו רישיון, אבל אתם כן נדרשים לשמור על הצהרת זכויות היוצרים והרישיון המקורי בקבצים עצמם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗