tulu-2.5-preference-data
קוד פתוחallenaiodc-by2024-06-10
המאגר מאגד נתוני העדפה לאימון מודלים בשיטות כמו DPO ו־PPO. הוא מרכז מקורות בולטים שעברו ניקוי ואחידות למבנה יחיד עבור מחקר והשוואות.
- 1,004הורדות בחודש
- 18לייקים
מה זה
המאגר מכיל זוגות של תגובות מועדפות ודחויות, שנאספו מתוך שורה של מאגרי העדפה קיימים. הצוות ניקה ופירמט את כלל הנתונים כך שיופיעו במבנה אחיד, מה שאומר שחלק מהחלוקות עברו שינוי ביחס למבנה המקורי שלהן. בין המקורות תמצאו דגימות מתוך AlpacaFarm, Capybara, Chatbot Arena משנים 2023 ו־2024, גרסה מנוקדת של HelpSteer, לצד HH-RLHF, Nectar, זוגות Orca DPO, ונתוני PRM800k משלב האימון השני.
בנוסף קיימות דגימות מופחתות של SHP-2 ו־StackExchange בהיקף של חצי מיליון רשומות כל אחת, חלוקות ייעודיות של 60,908 דוגמאות ששימשו לניסויי PPO במאמר, ומיקס גדול המשלב כמה מאגרים יחד. UltraFeedback מופיע במספר חיתוכים, כולל סינון לפי איכות המודלים המייצרים, שיטות ציינון שונות של GPT-4, וחלוקות לפי מקור הפרומפטים כמו TruthfulQA, ShareGPT, ו־Evol-Instruct.
מתאים ל
- אימון מודלים ב־DPO
אימון ישיר על זוגות טקסט של תשובה מועדפת מול דחויה במבנה אחיד.
- ניסויי יישור ב־PPO
שימוש בתתי הקבצים בגודל 60 אלף דוגמאות לאימון מודלי תגמול והרצת PPO.
- בדיקת השפעת איכות הדאטה
השוואת ביצועים באמצעות חלוקות UltraFeedback שמסווגות לפי איכות המודל המייצר.
איפה זה נופל
הנתונים מיועדים לאנגלית בלבד, והיוצרים מציינים שלא נעשה ניקוי מפורש של טקסטים בשפות אחרות. אם אתם מכוונים למודל בעברית, אין פה מענה מותאם. המאגר מסתמך בחלקו על הערכות סינתטיות של GPT-4 כדי לדרג מה מועדף, מה שגורר הטיות אופייניות של המודל, למשל העדפה לאורך או סגנון מסוים. מעבר לכך, חלק מהחלוקות הן דגימות אקראיות חלקיות בלבד מתוך המקור המקורי, והמבנה שונה מהגרסאות הרשמיות.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
הרישיון הראשי הוא ODC-BY, אבל המאגר מחולק לקבצים ממקורות שונים שלא כולם חופשיים. חלקים מסוימים, כמו AlpacaFarm או Chatbot Arena 2023, כוללים תנאי CC-BY-NC שאוסרים שימוש מסחרי, ואחרים כוללים דרישות שיתוף זהה. אם המטרה היא מסחרית, תצטרכו לסנן ולהשתמש רק בקבצים ברישיון מתאים כמו Apache 2.0 או MIT.
האם יש במאגר נתונים בעברית?
לא באופן מכוון. המאגר מתמקד באנגלית, והיוצרים ציינו מפורשות שהם לא ביצעו ניקוי של נתונים שאינם באנגלית, כך שייתכן שקיימות דגימות בודדות אבל אי אפשר לבנות עליו ליישור מודלים בעברית.
מה ההבדל בין המאגר הזה למאגרי המקור?
היוצרים ריכזו מעל עשרה מאגרים ידועים, ניקו אותם, והמירו את כולם לפורמט העדפה אחיד שמתאים לאימון DPO ו־PPO. בחלק מהמקרים הנתונים עברו חיתוך ודגימה מחדש, כמו הורדה יזומה של StackExchange ו־SHP-2 לחצי מיליון דוגמאות, או דירוג מחדש של תשובות ב־UltraFeedback.
איך טוענים
כל סט נתונים שמור כקובץ עצמאי בפורמט jsonl תחת תיקיית data, כך שאין צורך להוריד את כל שלושים הקבצים שבמאגר אם מחפשים חלוקה אחת בלבד. המאגר פתוח לגישה חופשית ללא תהליך אישור, ונטען ישירות דרך כלי HF הרגילים עבור משימות יצירת טקסט ולמידת חיזוק.
from datasets import load_dataset
ds = load_dataset("allenai/tulu-2.5-preference-data")הרישיון
הרישיון הכללי המדווח למאגר הוא ODC-BY, שמחייב מתן קרדיט בלבד. עם זאת, בפועל מדובר באוסף שמורכב ממקורות שונים, ולכל חלוקה יש תנאים משלה. חלק מהקבצים כפופים לרישיונות לא מסחריים כמו CC-BY-NC-4.0 בחלקי AlpacaFarm ובפלט המודלים של Chatbot Arena 2023, או רישיונות שיתוף זהה מסוג CC-BY-SA בנתוני Reddit ו־StackExchange. שימוש מסחרי במודל שמאומן על המאגר כולו יהיה בעייתי.