combined-roleplay
קוד פתוחagentlansרישיון לא דווח2025-02-06
המאגר מאגד שיחות מרובות תורות ממשחקי תפקידים, כתיבה יוצרת ועוזרי בינה מלאכותית. הוא פונה למי שרוצה לשפר יכולות אינטראקציה וסגנון שיחה במודלי שפה.
- 731הורדות בחודש
- 22לייקים
מה זה
הרשומות בנויות כשיחות מרובות תורות במבנה לסירוגין בין משתמש למודל, שנפתחות בהנחיית מערכת או משתמש ומסתיימות בתגובת מודל. השיחות הוגבלו לאורך של 4000 טוקנים לפי הטוקנייזר של Llama 3.1 8B, אם כי לפי הכרטיס המגבלה הזו טרם הוחלה על המנות החדשות ביותר.
התוכן נאסף משורה ארוכה של מאגרים קיימים, בהם SODA, Cakrawala, Capybara, CreativeWriting, נתוני פרס Chai, ודיאלוגים סינתטיים של דמויות. מתוך מעל מיליון שורות של SODA נדגמו 20,000 שורות, או 13,000 בגרסאות v2 ו־v3, שחוברו לשאר המקורות. כדי להבטיח גיוון חושבו וקטורי שיכון באמצעות snowflake-arctic-embed-xs-zyda-2 והנתונים קובצו לקלאסטרים של 1,000, 10,000 או 30,000 שיחות.
מתאים ל
- אימון משחקי תפקידים
כוונון עדין של מודלי שפה לניהול דיאלוגים מורכבים וגילום דמויות בדיוניות.
- עוזרי כתיבה יוצרת
שיפור יכולת המודל לייצר סיפורים והמשכים יצירתיים במסגרת שיחה מתמשכת.
- מחקר על שיחות סינתטיות
בדיקת איכות התוכן ודפוסי חזרתיות בדיאלוגים שנוצרו על ידי מכונות שונות.
איפה זה נופל
הנתונים מוגבלים כמעט לחלוטין לשפה האנגלית, עם מעט מאוד שיחות בספרדית, פורטוגזית וסינית, וללא עברית בכלל. השיחות מוגבלות לאינטראקציה בין שני משתתפים בלבד ולא משקפות דינמיקה קבוצתית. בגלל האופי הסינתטי של חלק מהמקורות קיימות הטיות סגנוניות, חזרתיות, ותוכן ירוד שהופק על ידי מודלים. בנוסף, הכרטיס מזהיר שחלק מהתכנים אינם מתאימים לכל קהל, כך שחובה לסנן אותו לפני אימון שמיועד למוצר עם משתמשים אמיתיים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
הרישיון בדף לא דווח, ויוצר המאגר מבהיר שיש לבדוק את הרישיונות המקוריים של כל אחד מתריסר המקורות. שימוש מסחרי ללא בדיקה כזו חושף אתכם להפרת זכויות יוצרים, במיוחד כשחלק מהמקורות עשויים להיות מוגבלים למחקר בלבד.
האם יש במאגר שיחות בעברית?
לא, המאגר מוגדר באנגלית בלבד. יש בו נפח קטן מאוד של שיחות בספרדית, פורטוגזית וסינית, אך אין בו ייצוג לשפה העברית.
באיזה פורמט הקבצים מגיעים ואיך פותחים אותם?
המאגר כולל 23 קבצים שנשמרו בפורמט jsonl.zst. כדי לעבוד איתם צריך לפרוס את דחיסת zstandard בסביבת הפיתוח לפני טעינת שורות ה־JSON.
איך נבחרו השיחות שנכנסו לגרסאות הסופיות?
היוצר שילב אלפי שורות מכמה מאגרים, דגם חלק ממאגר SODA, וחישב וקטורי שיכון לכל שורה. לאחר מכן הופעל אלגוריתם k-means כדי לחלק את השיחות לגרסאות של 1,000, 10,000 ו־30,000 דוגמאות מגוונות.
איך טוענים
הקבצים במאגר שמורים בפורמט jsonl דחוס באלגוריתם zst, כמו למשל cakrawala.jsonl.zst או capybara.jsonl.zst. אין צורך באישור גישה מיוחד כדי להוריד אותם, אך יש לקחת בחשבון שדרוש כלי שיודע לחלץ קבצי zstandard כדי לקרוא את השורות. המבנה הפנימי מבוסס על שדות של תפקיד ותוכן בשיחה מרובת תורות.
from datasets import load_dataset
ds = load_dataset("agentlans/combined-roleplay")הרישיון
בעמוד המאגר לא דווח רישיון כלל, ויוצריו מפנים לבדיקת הרישיונות של כל אחד ממאגרי המקור בנפרד. במצב כזה אסור להניח שמותר להשתמש בחומרים למטרות מסחריות, ואימון מודל עליהם יוצר סיכון משפטי ברור. כל שימוש מסחרי או הפצה דורשים מעבר ידני על תנאי השימוש של תריסר המקורות השונים שהרכיבו את השילוב.