Skywork-Reward-Preference-80K-v0.1
קוד פתוחSkyworkרישיון לא דווח2024-09-05
המאגר כולל כשמונים אלף צמדי העדפות שנאספו ממקורות ציבוריים כדי לאמן מודלי תגמול. הוא נועד למי שרוצה לשפר יכולות שיחה, קוד, מתמטיקה ובטיחות בלי לייצר נתונים מאפס.
- 250הורדות בחודש
- 49לייקים
מה זה
הנתונים מורכבים מכשמונים אלף רשומות של צמדי העדפות, כלומר שאלות עם תשובה מועדפת ותשובה דחויה, שנלקחו ממאגרים ציבוריים מוכרים כמו HelpSteer2, OffsetBias, WildGuard וסדרת Magpie DPO. היוצרים לא שינו את הטקסטים המקוריים עצמם אלא רק דגמו מתוכם.
סינון הדגימות נעשה בכמה שיטות ממוקדות. עבור נתוני Magpie נבחרו הדוגמאות המובילות במתמטיקה, בקוד ובקטגוריות נוספות לפי ציוני מודל ArmoRM, עם הפחתת ניקוד מכוונת לחלק מתתי המאגרים כדי לתת עדיפות לגרסאות איכותיות יותר. את נתוני WildGuard, שעוסקים בבטיחות ודוגמאות עוינות, סיננו באמצעות מודל תגמול פנימי שנבנה על שאר המקורות, ונשמרו רק רשומות שבהן המודל אכן העדיף את התשובה שנבחרה על פני זו שנדחתה.
מתאים ל
- אימון מודלי תגמול
לימוד מודלים לדרג תשובות לפי איכות, היגיון ובטיחות על בסיס צמדי העדפה מסוננים.
- כוונון ישיר בשיטת DPO
שיפור ביצועי מודלי שפה בכתיבת קוד ופתרון בעיות מתמטיות באמצעות דוגמאות מועדפות ודחויות.
- מחקר על זיהום נתונים
בדיקת השפעת חפיפת נתונים בין מאגרי אימון למבחני הערכה פומביים.
איפה זה נופל
הבעיה המרכזית בגרסה v0.1 היא זיהום נתונים מובהק מול בנצ'מרק ההערכה RewardBench. התגלתה חפיפת n-gram משמעותית בין הפרומפטים שנדגמו מתת המאגר magpie-ultra לבין מבחני הבנצ'מרק, ולכן אימון עליו ייתן תוצאות מוטות ולא אמינות בהערכה הזו. היוצרים עצמם ממליצים לעבור לגרסה v0.2 אם אתם בודקים ביצועים מול RewardBench. בנוסף, כל המקורות בנויים על אנגלית בלבד, ואין פה מענה מותאם לשפות אחרות או לעברית.
אותה משפחה
Skywork-Reward-Preference יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מודל מסחרי?
לא מומלץ בכלל כרגע. היוצרים לא הגדירו רישיון עבור המאגר, ולכן אין היתר שימוש ברור. בנוסף צריך לוודא את הרישיונות של כל מקורות המקור שמהם נדגמו הנתונים.
האם יש במאגר תמיכה בעברית?
אין במאגר עברית. הנתונים נדגמו ממאגרים ציבוריים באנגלית בלבד ועוסקים בעיקר בשיחה, קוד, מתמטיקה ובטיחות באנגלית.
למה כדאי להעדיף את גרסה v0.2 על פני v0.1?
בגרסה הזו יש זיהום נתונים מוכח מול מבחן RewardBench שמקורו בנתוני Magpie Ultra. אם תאמנו עליה ותבחנו מול הבנצ'מרק הזה, התוצאות יהיו מנופחות ולא אמינות, בעוד גרסה v0.2 מנקה את הדגימות הבעייתיות.
איך המאגר הזה נאסף בפועל?
הוא מורכב מכשמונים אלף דוגמאות שנבחרו ממאגרים כמו HelpSteer2, OffsetBias, WildGuard וסדרת Magpie. הבחירה נעשתה לפי ציוני איכות של מודל ArmoRM ומודל תגמול פנימי שסינן נתוני בטיחות.
איך טוענים
טוענים את המאגר ישירות מתוך Hugging Face בספריית datasets. הנתונים יושבים בקובץ Parquet יחיד בתיקיית data לצד התיעוד, כך שמדובר במבנה פשוט מאוד לפריסה מקומית. אין צורך באישור גישה ידני או מילוי טפסים, פשוט מושכים את הקובץ. כל רשומה כוללת את הפרומפט לצד התשובות המשוות, כך שניתן להזין אותן ישר לתוך סקריפט אימון למודלי תגמול או DPO.
from datasets import load_dataset
ds = load_dataset("Skywork/Skywork-Reward-Preference-80K-v0.1")הרישיון
בעמוד המאגר לא דווח רישיון כלל. כשאין רישיון מוגדר, המשמעות המשפטית היא שאין לכם הרשאה מפורשת להשתמש בנתונים, בטח שלא למוצרים מסחריים או לאימון מודלים שמיועדים להפצה. בנוסף, מכיוון שהמאגר הוא דגימה מתוך כמה מאגרים חיצוניים, חלים עליו בפועל גם תנאי הרישיונות המקוריים של אותם מקורות, מה שמסבך עוד יותר את התמונה.