DPO_Pairs-Roleplay-Alpaca-NSFW-v1-SHUFFLED
קוד פתוחathirdpathcc-by-nc-4.02023-12-11
זוגות של תשובות מועדפות ונדחות לאימון העדפות במודלי משחק תפקידים ותכנים למבוגרים. הוא נבנה כדי לשפר מודלים פתוחים בז'אנר בלי לחטוף סירובים.
- 46הורדות בחודש
- 32לייקים
מה זה
המאגר כולל סביב 3,400 זוגות המיועדים לשיטת DPO ומעורבבים מראש. הדאטה סינתטי ברובו המוחלט, כאשר כשמונים אחוזים הופקו דרך המודל Iambe בכימות חמש ביט, כעשרה אחוזים נוספים באותו מודל בכימות שש ביט, והשאר הופק באמצעות GPT-4. כל זוג כולל תגובה נבחרת ותגובה שנדחתה, שתיהן נוצרו במקביל מאותו פרומפט. בחלק קטן מהמקרים שבהם יצירת התשובה הדחויה נכשלה, שובצה במקומה תבנית סירוב מלאכותית סטנדרטית.
רוב התוכן מכוון ישירות לשיחות ארוטיות ולמשחקי תפקידים למבוגרים, אך היוצר שילב גם תרחישי ספורט והרפתקאות כדי לספק בסיס התנהגות רחב יותר. שגיאות עיצוב של פרומפטים נותבו בכוונה לתוך התשובות הדחויות, במטרה ללמד את המודל להימנע מהן.
מתאים ל
- אימון DPO למשחקי תפקידים
כוונון מודלים פתוחים לשיחות אינטראקטיביות של משחקי תפקידים ועלילות ארוטיות באנגלית.
- הפחתת סירובים גנריים
לימוד מודלים להעדיף המשך שיחה במקום מענה בנוסח המחשב כבינה מלאכותית.
- בדיקת אלגוריתמי יישור
הרצת ניסויי cDPO על דאטה קטן של 3,400 דוגמאות בעזרת המחברת המצורפת.
איפה זה נופל
החומר לא עבר ניקוי ידני מקיף אלא חיפוש והחלפה בסיסיים ובדיקות מדגמיות בלבד, כך שרוב הטקסט מעולם לא נקרא בידי אדם. היוצר מציין שבחלק מהתשובות הנבחרות המודל מדבר בשם המשתמש במקום בשם הדמות שלו, מה שדורש סינון עצמאי. מעבר לזה, השפה היחידה במאגר היא אנגלית, התוכן מכוון ברובו לנישה מוגדרת מאוד של מבוגרים, ואימון עליו יחדיר למודל שלכם הטיות סגנוניות ברורות שמקורן ישירות במודל Iambe שממנו נדגם החומר.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
לא. הרישיון המוגדר הוא CC BY-NC 4.0 שמונע במפורש כל שימוש מסחרי. אם תאמנו עליו מודל, לא תוכלו למכור אליו גישה או לשלב אותו בשירות בתשלום.
האם יש בדאטהסט תמיכה בעברית?
לא, הנתונים כולם באנגלית בלבד. אם תרצו לאמן מודל שיחה בעברית, החומר הזה פשוט לא רלוונטי עבורכם.
איך נאספו ונבחרו הזוגות?
הנתונים נוצרו סינתטית ברובם המוחלט על ידי מודל Iambe עם כעשרה אחוזים של GPT-4. שתי התשובות נוצרו בו זמנית מאותו פרומפט, כשכשלים הוחלפו בתבניות סירוב רגילות.
למה הקובץ מוגדר כמבולגן או shuffled?
היוצר ערבב את הרשומות מראש לאחר שזיהה שתבניות האימון ב־TRL הושפעו מסידור הדגימות המקורי. הערבוב מונע מהמודל ללמוד סטיות שנובעות מרצף יצירת הדאטה.
איך טוענים
הנתונים יושבים בקובץ JSONL יחיד בשם DPO_Pairs-Roleplay-NSFW_shuffled.jsonl, לצד מחברת פייתון שמדגימה אימון באמצעות cDPO. המאגר פתוח להורדה ישירה ללא צורך באישור גישה או ברישום מקדים. כל רשומה כוללת את הפרומפט, את התשובה שנבחרה כטובה ואת התשובה שסומנה לדחייה, כששגיאות עיצוב הוכנסו מראש לצד הדחוי. אם אתם עובדים עם ספריות אימון דוגמת TRL, קחו בחשבון שהקבצים כבר עורבבו כדי למנוע דפוסי למידה עקומים שנובעים מסידור המידע המקורי.
from datasets import load_dataset
ds = load_dataset("athirdpath/DPO_Pairs-Roleplay-Alpaca-NSFW-v1-SHUFFLED")הרישיון
הרישיון הוא cc-by-nc-4.0, מה שאומר שהשימוש מוגבל למטרות מחקר ושימוש אישי בלבד. אסור להשתמש בנתונים האלה למוצר מסחרי, לאמן עליהם מודל שמניב הכנסות או לגבות תשלום על גישה לתוצאות. בנוסף, חובה לתת קרדיט ליוצר athirdpath אם מפיצים את הקבצים או גרסאות שנגזרו מהם.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא