DPO_Pairs-Roleplay-NSFW
קוד פתוחaifeifei798cc-by-nc-4.02024-07-21
המאגר מרכז כ־3.4 אלף זוגות העדפה ל־DPO שמיועדים למשחקי תפקידים ותכנים ארוטיים. הוא פותר את בעיית הסירוב המובנה במודלים מסחריים על ידי אימון על תוכן NSFW מבוסס מודלים פתוחים.
- 68הורדות בחודש
- 38לייקים
מה זה
הנתונים מורכבים מכ־3,400 זוגות העדפה בפורמט DPO שנוצרו באופן סינתטי על ידי שילוב של מודל Iambe בגרסאות קוונטיזציה שונות עם כ־10% תוכן מ־GPT-4. עבור כל רשומה הופקו במקביל תשובה מועדפת ותשובה דחויה באמצעות פרומפט כפול, כאשר שגיאות עיצוב נותבו ישירות לצד הדחוי כדי ללמד את המודל להימנע מהן. בכמה עשרות מקרים שבהם הדור הדחוי כשל, שובצה תבנית סירוב מלאכותית סטנדרטית.
רוב התוכן מכוון ישירות לתרחישי ERP, כך שסיטואציות מיניות תופסות נפח משמעותי מאוד מהרשומות. לצד זאת, המאגר כולל גם תרחישי ספורט והרפתקאות כדי לספק בסיס התנהגותי רחב יותר. הדאטהסט לא עבר ניקוי ידני שיטתי, אלא סינון גס באצוות והחלפות טקסט בסיסיות, כך שרובו מעולם לא נקרא בפועל על ידי אדם.
מתאים ל
- אימון DPO למשחקי תפקידים
התאמת מודלים פתוחים לכתיבה עלילתית ושיחות ERP באנגלית ללא סירובים מובנים.
- מחקר על דאטה סינתטי
בדיקת השפעת שילוב נתונים מ־GPT-4 ומודלים קטנים על איכות זוגות ההעדפה.
- הפחתת סירובי מודל
שימוש בתשובות הדחויות כדי ללמד מודל לא לפלוט הודעות סירוב רובוטיות.
איפה זה נופל
אין כאן מילה אחת בעברית, כל הטקסט באנגלית בלבד. הבעיה העיקרית היא היעדר בקרת איכות אנושית. המפתח עצמו מציין שחלק מתשובות ה־chosen מכילות כתיבה שבה המודל משתלט על פעולות המשתמש, ושחלק מתשובות ה־rejected סובלות מסגנון קולי לא רצוי שלא נוקה לחלוטין. אם תכניסו את זה לאימון בלי לעבור על הדוגמאות, המודל שלכם ילמד גם את ההזיות והפגמים המבניים של Iambe.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה למוצר מסחרי?
לא. הרישיון הוא רישיון לא-מסחרי מסוג cc-by-nc-4.0, ולכן כל שימוש מניב רווח אסור בהחלט.
האם יש במאגר תמיכה בעברית?
המאגר מוגדר ומכיל תוכן בשפה האנגלית בלבד. אין בו רשומות בעברית ולא נעשה ניסיון להתאים אותו לתרבות או לשפה מקומית.
איך נוצרו הזוגות של התוכן הנבחר והדחוי?
היוצר השתמש בפרומפט כפול שייצר את שני החלקים במקביל בעיקר באמצעות מודל Iambe-20b עם טמפרטורה 1.2, לצד שילוב חלקי של GPT-4. טעויות עיצוב הועברו ידנית לצד הדחוי.
האם הנתונים עברו סינון קפדני?
ממש לא. היוצר ביצע החלפות טקסט בסיסיות ובדיקה שטחית באצוות, ומודה בגלוי שרוב התוכן לא נקרא על ידי עין אנושית ומכיל בעיות עקביות.
איך טוענים
טוענים את הקובץ ישירות דרך ספריית datasets או בקריאת קובץ DPO_Pairs-Roleplay-NSFW.jsonl שמכיל את הזוגות. המאגר כולל שלושה קבצים בלבד, אינו דורש אישור גישה מוקדם או מפתחות מיוחדים, ומכיל את עמודות הפרומפט לצד התשובות שנבחרו ונדחו. יחד עם הנתונים מצורף גם מחברת אימון ששימשה להרצה על RunPod, כך שניתן לראות בדיוק את תהליך ה־cDPO שהכותב יישם.
from datasets import load_dataset
ds = load_dataset("aifeifei798/DPO_Pairs-Roleplay-NSFW")הרישיון
הרישיון הוא cc-by-nc-4.0. המשמעות ברורה וחדה, אסור להשתמש במאגר לשום מטרה מסחרית. מותר להשתמש בו למחקר, ניסויים פרטיים או פיתוח מודלים פנימיים, תוך מתן קרדיט ליוצר המקורי. אם תאמנו עליו מודל שמוצע בתשלום או כחלק משירות עסקי, אתם מפירים את תנאי הרישיון ישירות.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא