Capybara-Preferences
קוד פתוחargillaapache-2.02024-04-17
שיחות מרובות תורות שנועדו לאימון מודלי העדפה ודירוג. הבסיס נלקח מקפיברה, קיבל השלמות ממתחרים שונים ודורג במלואו על ידי מודל שופט.
- 388הורדות בחודש
- 47לייקים
מה זה
הנתונים נשענים על הדאטהסט LDJnr/Capybara, שעבר התאמה ממבנה של מעקב אחר הוראות למבנה של העדפות. הרשומות כוללות שיחות מרובות תורות שבהן התור האחרון של העוזר פוצל, כדי לאפשר יצירת חלופות שונות על אותו הקשר שיחתי. תורות ההמשך עצמם נוצרו באופן סינתטי על ידי gpt-4-1106-preview בשיטת Amplify-Instruct.
עבור כל שיחה נוצרו תגובות חלופיות משלושה מודלים של שבעה מיליארד פרמטרים: notus-7b-v1, NeuralBeagle14-7B ו־OpenHermes-2.5-Mistral-7B, בנוסף לתשובה המקורית. כל ארבע התשובות נשלחו להערכה במנגנון UltraFeedback, שם אותו מודל של OpenAI שימש כשופט שחילק ציונים ונימוקים לכל אפשרות. התוצאה היא קובץ אימון סינתטי כמעט לחלוטין ללא מעורבות אנושית.
מתאים ל
- אימון מודלי DPO ו־RLHF
כיוונון מודלים על העדפות שיחה מורכבות עם השוואה בין ארבע גרסאות שונות.
- בניית מודלי דירוג
אימון מודל שמעניק ציונים לתשובות על סמך הדירוגים והנימוקים של השופט.
- הערכת ביצועי מודלי 7B
בחינת איכות התוצרים של מודלים קטנים מול שיפוט חיצוני מפורט.
איפה זה נופל
המאגר מבוסס על אנגלית בלבד ואין בו תמיכה בשפות אחרות, כך שהוא לא יעזור ישירות למי שמאמן מודל להבנת עברית. מעבר לכך, התהליך כולו סינתטי ומסתמך על שיפוט של gpt-4-1106-preview, מה שמכניס הטיות מובנות של מודלים גדולים והזיות. המפרסמים מציינים במפורש שיש גרסה מסוננת נפרדת, מאחר שהגרסה הזו כוללת תגובות עם כתובות אינטרנט מומצאות וביטויים רובוטיים חוזרים. אם בונים מערכת לפרודקשן, לא מומלץ להשתמש בגרסה הזו בלי לנקות את התשובות קודם.
שאלות
נפוצות
האם יש בדאטהסט תמיכה בעברית?
לא. הנתונים כולם באנגלית בלבד. אם המטרה היא אימון או התאמה למשתמשים דוברי עברית, הנתונים כאן לא רלוונטיים בלי תרגום והתאמה.
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
רישיון המאגר הוא apache-2.0 שמתיר שימוש מסחרי מלא. יחד עם זאת, הנתונים נוצרו וסוננו באמצעות מודל gpt-4-1106-preview, מה שעלול להגביל שימושים מסוימים לפי תנאי השירות של OpenAI.
מה ההבדל בין המאגר הזה לגרסה המסוננת שלו?
המאגר הזה מכיל את כל הפלטים הגולמיים, כולל הזיות של כתובות אינטרנט וניסוחים מלאכותיים שנובעים מהפקודות למודל. הגרסה המסוננת מסירה את התשובות האלה כדי לקבל טקסט נקי וטבעי יותר.
איך נאספו התגובות והדירוגים בפועל?
לקחו שיחות קיימות, חתכו את התשובה האחרונה וייצרו חלופות בעזרת שלושה מודלים פתוחים של 7B. לאחר מכן, מודל gpt-4 שפט את ארבע האפשרויות, נימק את הבחירה ונתן ציונים בעזרת כלי distilabel.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות המזהה argilla/Capybara-Preferences. אין צורך באישור גישה מוקדם או בטופס, והמאגר פתוח להורדה מיידית. הקובץ המרכזי שמכיל את הנתונים יושב בפורמט parquet יחיד תחת תיקיית data, כך שטעינת הנתונים מהירה ופשוטה. השדות המרכזיים שצריך לשים לב אליהם הם conversation שמכיל את היסטוריית התורות עד לפנייה האחרונה, לצד התגובות השונות והערכות השופט עם הנימוקים.
from datasets import load_dataset
ds = load_dataset("argilla/Capybara-Preferences")הרישיון
הרישיון המדווח הוא apache-2.0, מה שמתיר שימוש מסחרי, שינוי והפצה של הדאטהסט והמודלים שתאמנו עליו, בלי חובת שיתוף באותו רישיון. נדרש רק לשמור על הקרדיט והודעת הרישיון המקורית. עם זאת, מכיוון שהתוכן נוצר ונשפט בעזרת מודלים של OpenAI, יש לבדוק אם תנאי השימוש שלהם מגבילים אימון מודלים מתחרים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים