evol-character-200
קוד פתוחbai-roleplayapache-2.02024-01-27
המאגר כולל הגדרות דמות מפורטות ותסריטי שיחה בסינית שנוצרו במודלים של OpenAI. הוא נותן פתרון מהיר למי שבונה משחקי תפקידים וצריך דמויות בדיוניות עם עומק ופעולות בתוך הטקסט.
- 218הורדות בחודש
- 41לייקים
מה זה
הנתונים מחולקים לשלושה קובצי JSON נפרדים, כשבכל אחד 200 דמויות. הקובץ הראשון נוצר בעזרת GPT-3.5 ומתמקד ברובו בדמויות נשיות, והקובץ השני משלים 200 דמויות גבריות באותו מבנה. כל רשומה בשני הקבצים האלה מחולקת להוראות רקע, אופי והיסטוריה, לצד מערך של עד עשר שיחות.
הקובץ השלישי מבוסס על GPT-4 ומציג מבנה מורכב יותר. הוא מכיל פרופיל אופי מורחב של הדמות, הגדרות מפורשות של הדמויות שמנהלות איתה אינטראקציה, ושיחות מרובות סבבים מול שלוש דמויות שונות לכל ישות ראשית.
כל הטקסטים נבנו בתהליך סינתטי דרך ממשקי OpenAI. המפתחים יצרו פרומפטים בסיסיים, העבירו אותם הרחבה מונחית בפול הוראות, סיננו באמצעות הערכה משולבת של בני אדם ומודל, והפיקו את השיחות בשיטת self-instruction.
מתאים ל
- אימון סוכני שיחה למשחקים
כוונון מודלים לשמירה על אישיות עקבית, שפת גוף ותיאורי פעולה בדיאלוג.
- בדיקת איכות למשחקי תפקידים
שימוש בנתוני ה־GPT-4 כסט בוחן להערכת מודלים שמנהלים שיחה מרובת משתתפים.
- שליפת הקשר למערכות RAG
בניית מאגר הגדרות אופי ורקע לצורך שליפה דינמית בזמן שיחה עם משתמש.
איפה זה נופל
כל הנתונים כתובים בסינית ומיועדים לסגנון אנימה ובדיוני. אין כאן עברית או אנגלית בתוכן השיחות עצמו. מעבר לכך, מדובר במדגם קטן יחסית של 200 דמויות לקובץ, שנועד להציג את היכולת ולא לאימון רחב היקף של מודל בסיס, לשם כך המפתחים מפנים למאגר נפרד.
כל התוכן סינתטי לחלוטין ולא עבר בדיקות בטיחות או אימות עובדות קפדני. בשיחות משולבים מאפייני אישיות קיצוניים כמו יאנדרה, כך שאי אפשר להזין אותו ישירות למודל שירותי מבלי לסנן תכנים רעילים מראש.
שאלות
נפוצות
האם המאגר כולל תמיכה בעברית?
לא. כל הנתונים, הגדרות הדמויות והדיאלוגים כתובים בסינית בלבד. אם המטרה היא לאמן מודל בעברית, תצטרכו לתרגם את הנתונים במלואם או להשתמש בהם רק לבחינת מתודולוגיית ההפקה.
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
קוד המאגר וההפצה סומנו ברישיון Apache 2.0, אך מאחר שהתוכן הופק באמצעות ה־API של OpenAI, תנאי השירות שלהם מגבילים שימוש בנתונים לאימון מודלים שמתחרים ישירות בשירותיהם. בנוסף, יש לוודא שהדמויות אינן מפרות זכויות יוצרים של גורמים אחרים.
כמה דוגמאות יש בחבילה הזו בפועל?
המאגר החינמי מכיל שלוש גרסאות של 200 דמויות כל אחת, סך הכל 600 דמויות מוגדרות. זהו אוסף מצומצם המיועד לדוגמה והערכה, והיוצרים מפנים למאגר נפרד עבור מי שמבקש לקבל את הדאטה המלא.
איך נוצרו הנתונים והאם בני אדם בדקו אותם?
הנתונים הופקו על ידי הרחבת פרומפטים דרך GPT-3.5 ו־GPT-4 בתהליך איטרטיבי. צוות המפתחים שילב מעריכים אנושיים יחד עם GPT-4 כדי לתת משוב על הגדרות הדמות, ולאחר מכן הופקו הדיאלוגים הסופיים.
איך טוענים
אין צורך בבקשת גישה מיוחדת למאגר של ה־200, והוא זמין להורדה ישירה כקבצי JSON. המאגר הכולל שבעה קבצים קל מאוד במשקל ונטען ישירות בקוד בעזרת ספריית datasets או קריאת קובצי JSON רגילה בפייתון. בקובצי GPT-3.5 השדות המרכזיים הם instruction ו־dialog, ואילו בקובץ ה־GPT-4 השדות הם setting שמכיל את פרטי הדמות ו־iqa שמרכז את פרופיל בני השיח ואת השיחות בפועל.
from datasets import load_dataset
ds = load_dataset("bai-roleplay/evol-character-200")הרישיון
המאגר מפורסם תחת רישיון Apache 2.0 המאפשר שימוש מסחרי, שינוי והפצה ללא דרישה לשיתוף תחת אותו רישיון. עם זאת, היוצרים מדגישים שהנתונים הופקו דרך ה־API של OpenAI, כך שחלים עליהם תנאי השימוש של אותם ממשקים, לצד בדיקה של זכויות יוצרים אפשריות על דמויות מסוימות.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים