Light-R1-DPOData
קוד פתוחqihoo360apache-2.02025-03-04
המאגר כולל זוגות העדפה לאימון DPO במתמטיקה מורכבת עם שרשראות חשיבה ארוכות. הוא נבנה כדי להביא מודל בסיס לביצועים תחרותיים במבחני AIME בלי תקציבי עתק.
- 126הורדות בחודש
- 29לייקים
מה זה
הרשומות במאגר מורכבות מזוגות של תשובה מועדפת ותשובה דחויה עבור שאלות מתמטיות. כדי ליצור את הדוגמאות, החוקרים דגמו תשובות מתוך מודל שעבר אימון SFT בשלב השני, ובדקו אילו מהן נכונות ואילו שגויות. התשובות הנכונות אומתו וחוזקו באמצעות פלטים של DeepSeek-R1, בעוד שהתשובות השגויות שימשו כדוגמאות השליליות לצורך יישור העדפות.
מקור השאלות מגיע מאיסוף של שורה ארוכה של מאגרי מתמטיקה פתוחים, ביניהם OpenR1-Math-220k, OpenThoughts-114k, LIMO, OpenMathInstruct-2, s1K-1.1, Omni-MATH, hendrycks_math ומבחני AIME עד שנת 2023. הנתונים עברו סינון קפדני למניעת זליגה מול מבחני הערכה מקובלים כמו AIME24, AIME25, MATH-500 ו־GPQA Diamond באמצעות התאמות מדויקות ובדיקות N-gram.
מתאים ל
- אימון DPO לפתרון בעיות
חידוד מודלי שפה פתוחים להסקת מסקנות ומתמטיקה תחרותית באמצעות זוגות העדפה.
- שחזור שרשראות חשיבה
אימון מודלים לייצר פתרונות מפורטים ומנומקים הדומים לפלטים של DeepSeek-R1.
- מחקר על מניעת זליגה
בחינת נתונים שעברו סינון קפדני כנגד מבחני AIME לצורך השוואות אמינות.
איפה זה נופל
הנתונים ממוקדים אך ורק במתמטיקה מתקדמת ובשפה האנגלית. החוקרים עצמם מדווחים כי אימון ממוקד מתמטיקה כזה גורם לשכחה מסוימת בתחומים מדעיים אחרים, כפי שנראה בירידה בביצועים במבחן GPQA Diamond. בנוסף, המודל אומן לחשוב רק כאשר כופים עליו את התגית הייעודית, כך שהנתונים אינם מתאימים למשימות שיחה כלליות או לשימוש ישיר בעברית ללא התאמה נוספת.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה למוצר מסחרי?
כן, הרישיון המוגדר הוא Apache 2.0 שמתיר שימוש מסחרי מלא. הדרישה העיקרית היא מתן קרדיט ושמירה על תנאי הרישיון המקוריים בקבצים הנגזרים.
האם הנתונים כוללים תמיכה בעברית?
לא. השאלות והתשובות נאספו ממאגרי מתמטיקה בינלאומיים ונכתבו באנגלית. שימוש בעברית ידרוש תרגום מותאם או אימון מקדים נפרד.
איך נאספו התשובות השגויות עבור זוגות ה־DPO?
החוקרים לקחו מודל שעבר אימון SFT בשלב השני ויצרו ממנו תשובות. הפלטים עברו אימות, וכך סווגו לתשובות נכונות שהושוו לפתרונות של DeepSeek-R1 מול תשובות שגויות שנדחו.
מה מבדיל את המאגר הזה מאוספי DPO אחרים למתמטיקה?
הוא עבר ניקוי יסודי כדי למנוע זליגת נתונים למבחני AIME ו־MATH-500. בנוסף, הוא נבנה במפורש כדי לתמוך באימון שרשראות חשיבה עמוקות בעלות נמוכה.
איך טוענים
המאגר פתוח לחלוטין להורדה ללא צורך בהרשמה מוקדמת או אישור גישה. כל המידע שמיועד לשלב ההעדפות מרוכז ישירות בקובץ יחיד בשם dpo-pairs.json, כך שניתן לטעון אותו בעזרת ספריית datasets הרגילה של Hugging Face או ישירות באמצעות קריאת JSON מקומית. הקובץ מכיל את זוגות ההעדפה, והוא מותאם לעבודה ישירה עם סקריפטים של 360-LLaMA-Factory שתומכים במקביליות רצף.
from datasets import load_dataset
ds = load_dataset("qihoo360/Light-R1-DPOData")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה של הנתונים, ואינו דורש שיתוף של מודלים נגזרים תחת אותו הרישיון, כל עוד שומרים על הודעת זכויות היוצרים והייחוס למפתחים המקוריים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים