Open-RL

מה זה

המאגר מכיל שאלות מדעיות בתחומי פיזיקה, מתמטיקה, כימיה וביולוגיה. כל רשומה כוללת מזהה שיחה, תחום ראשי, תת תחום, את נוסח השאלה עם תמיכה בפורמט לאטך ותשובה סופית דטרמיניסטית שניתנת לאימות חישובי, למשל ביטוי אלגברי סגור או ערך מספרי.

לפי התיעוד, השאלות נכתבו ונבדקו פעמיים בידי מומחים בעלי תואר שלישי, מתוך דגש על ניסוח שלא ניתן למצוא ישירות ברשת ובדיקת מקרים שבהם מודלים שוברים את תהליך ההיסק. המטרה היא לייצר בעיות שאינן קלות מדי אך פתירות עבור מודלים מתקדמים, כדי לייצר אות תגמול יעיל לאימון.

מתאים ל

• למידת חיזוק מבוססת תוצאה

  אימון מודלים באופטימיזציית מדיניות מול תגמול בינארי פשוט על דיוק התשובה הסופית.

• בנצ'מרק להערכת יכולות היסק

  בדיקת ביצועים של מודלי שפה על שאלות STEM מתקדמות באמצעות אימות ממוחשב.

• בניית מודל תגמול

  כיול מערכות תגמול אוטומטיות על בסיס השוואת ביטויים מתמטיים וסמליים מדויקים.

איפה זה נופל

החיסרון המרכזי הוא ההיקף, פחות מאלף רשומות לא מספיקות לאימון רחב מאפס, אלא רק לכוונון עדין נקודתי או להערכה. בנוסף, כל הנתונים באנגלית בלבד, ואין ייצוג לעברית או שפות נוספות. שרשרת ההיסק המלאה אינה שמורה ברשומות אלא רק התשובה הסופית, ולכן המאגר לא מתאים ישירות ללמידה מונחית של שלבי החשיבה אלא רק לבדיקת תוצאה סופית.

איך טוענים

טוענים את הקובץ open_rl.json ישירות דרך ספריית הדאטהסטס או בקריאת קובץ פשוטה, ללא צורך בהרשאה מיוחדת או אישור גישה מראש. המאגר קטן מאוד וכולל פחות מאלף דוגמאות, כך שהוא יורד בשניות ולא דורש משאבי זיכרון מיוחדים. השדות הקריטיים לתהליך העבודה הם question שמזינים למודל ו־answer שאליו משווים את התוצאה באמצעות בדיקת שקילות, השוואת מחרוזות או ספריות כמו SymPy.

from datasets import load_dataset

ds = load_dataset("TuringEnterprises/Open-RL")

הרישיון

המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש מסחרי, שינוי, הפצה ושילוב במודלים ללא דרישה לשיתוף תחת אותו רישיון, ומחייב רק שמירה על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗