RLPR-Train-Dataset
קוד פתוחopenbmbapache-2.02025-06-22
אוסף של 77,000 שאלות חשיבה מורכבות שמסוננות מתמטית החוצה. מי שמחפש לשפר הסקת מסקנות כללית של מודל בלי להסתמך על תרגילי חשבון ימצא כאן בסיס ממוקד.
- 767הורדות בחודש
- 30לייקים
מה זה
המאגר מכיל שאלות הסקה מורכבות שנלקחו מתוך WebInstruct, כשהמטרה היא לחזק יכולות פתרון בעיות שאינן קשורות למתמטיקה. היוצרים שלפו מהמקור רק פרומפטים מחוץ לעולם החשבון, והעבירו אותם סינון בעזרת GPT-4.1 כדי לזרוק שאלות קלות מדי ולהשאיר רק את המאתגרות שבהן. הרשומות מגיעות בתבנית שיחה, כולל הודעת מערכת שמגדירה את פורמט ההסקה המצופה מהמודל בזמן הפתרון.
המבנה של כל דגימה מיועד ישירות לאימוני למידת חיזוק. לצד הפרומפטים יש שדה ייעודי עם תשובת ייחוס שמיועדת למודל התגמול, יחד עם חלוקה לתחומי יכולת וסוגי תשובות. בנוסף, כל רשומה כוללת מטא-דאטה מפורט על רמת הקושי, קטגוריות משנה, הערכת ניקוד מנומקת וכמות הטוקנים הכוללת.
מתאים ל
- אימון למידת חיזוק
אימון מודלים להסקה לוגית כללית באמצעות מודל תגמול שמבוסס על שדות הייחוס המוכנים.
- כוונון עדין למשימות מלל
שיפור יכולת פתרון הבעיות של מודלי שפה בתחומים שאינם כוללים חישובים מספריים.
- הערכת עומק הסקה
בדיקת יכולת המודל לייצר הסברים מנומקים לאורך תהליך פתרון של שאלות מורכבות.
איפה זה נופל
הנתונים כולם באנגלית, בלי שום ייצוג לעברית או לשפות אחרות. מאחר שהסינון בוצע כולו באמצעות GPT-4.1, המאגר ירש ישירות את ההטיות, טעויות השיפוט והעדפות הסגנון של אותו מודל, מה שעלול לייצר אחידות יתר בפתרונות. בנוסף, הוצאת כל הפרומפטים המתמטיים הופכת אותו לבלתי מתאים למודלים שצריכים להתמודד עם שאלות כמותיות או לוגיקה נוקשה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון המוגדר הוא Apache 2.0 שמתיר שימוש מסחרי חופשי. אתם רק צריכים להקפיד על מתן קרדיט ליוצרים המקוריים ולצרף עותק של הרישיון עם המוצר או הקוד. מותר גם להפיץ מודל סגור שאומן על הנתונים הללו.
האם יש במאגר שאלות או טקסטים בעברית?
לא, המאגר מוגדר וכולל שאלות בשפה האנגלית בלבד. אם המטרה היא לאמן או לבדוק יכולות הסקה בעברית, תצטרכו לתרגם את השאלות ולבדוק את איכותן מחדש. לא הייתי בונה על זה להסקת מסקנות מקומית בלי התאמה מלאה.
מאיפה הגיעו הנתונים ואיך בחרו אותם?
הבסיס נלקח מתוך מאגר WebInstruct של TIGER-Lab. החוקרים ניקו החוצה את כל השאלות המתמטיות, ואז הפעילו את GPT-4.1 כדי למחוק שאלות בסיסיות שקל מדי לפתור. בסוף התהליך נשארו 77,000 שאלות מאתגרות במגוון תחומי דעת כלליים.
במה הוא שונה ממאגרי אימון הסקה סטנדרטיים?
רוב מאגרי ההסקה מתמקדים בחישובים, אלגברה וקוד כי קל לבדוק אותם בצורה אוטומטית. כאן הוציאו לגמרי את המתמטיקה כדי להתמקד בחשיבה מופשטת וכללית. בנוסף, כל רשומה כוללת מראש תשובת ייחוס מובנית שמיועדת למודלי תגמול בלי צורך בבודק חיצוני.
איך טוענים
טוענים את המאגר ישירות מספרית datasets באמצעות שם המאגר, בלי שצריך אישור גישה מראש. הקובץ המרכזי יושב בפורמט parquet יחיד בשם rlpr_train, כך שאין כאן פיצול מובנה מראש לקבוצת בדיקה. בעבודה עם הנתונים חשוב לשים לב לשדות המורכבים, שכן הפרומפט מגיע כמבנה נתונים של הודעות ושיחות, והשדה שמחזיק את תשובת הייחוס כולל אובייקט מקונן שחייבים לפרק לפני שמעבירים אותו לתהליך האימון.
from datasets import load_dataset
ds = load_dataset("openbmb/RLPR-Train-Dataset")הרישיון
הרישיון הוא Apache 2.0 מלא. אפשר להשתמש בנתונים לפרויקטים מחקריים ומסחריים, לשנות אותם ולשלב אותם במודלים סגורים, בלי חובה לשתף את הנגזרות באותו רישיון. החובה העיקרית היא לצרף את עותק הרישיון המקורי ולתת ייחוס מתאים ליוצרים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים