character-llm-data
קוד פתוחOpenMOSS-Teamcc-by-nc-4.02023-11-14
המאגר מרכז דיאלוגים מבוססי תפקיד של תשע דמויות היסטוריות ובדיוניות. מי שבונה מודל לשיחה בגוף ראשון מקבל כאן אימוני טקסט מוכנים שהופקו על ידי בינה מלאכותית.
- 219הורדות בחודש
- 36לייקים
מה זה
המאגר כולל סצנות שיחה מפורטות שנבנו עבור תשע דמויות שונות: קלאופטרה, לורד וולדמורט, ספרטקוס, הרמיוני גריינג'ר, אייזק ניוטון, יוליוס קיסר, לודוויג ואן בטהובן, סוקרטס ומרטין לותר קינג. הנתונים מתעדים חוויות ואינטראקציות שמיועדות ללמד מודלי שפה לשחק את הדמות באופן עקבי, עם ממוצע של כאלף ושש מאות סצנות וכשלושה עשר תורות שיחה לכל דמות.
התוכן מחולק לשתי תיקיות עיקריות בפורמט JSON. התיקייה generated מכילה נתוני גלם סינתטיים שנוצרו באמצעות gpt-3.5-turbo של OpenAI, שממחישים את השיחות לפי דמות. התיקייה prompted כוללת את המידע לאחר עיבוד והתאמה, כשהוא מוכן ישירות לכוונון עדין תחת הנחיה מוגדרת. סך המילים נע בין כמעט שש מאות אלף מילים אצל וולדמורט ליותר ממיליון מילים אצל מרטין לותר קינג.
מתאים ל
- כוונון למשחקי תפקידים
אימון מודל שפה לדבר בסגנון ובקול של דמות היסטורית או בדיונית ספציפית.
- מחקר על עקביות דמות
בדיקת היכולת של מודלים לשמור על פרסונה קבועה לאורך עשרות תורות שיחה.
- הערכת נתונים סינתטיים
בחינת ההשפעה של אימון על טקסט שנוצר על ידי מודל שפה אחר מול טקסט אנושי.
איפה זה נופל
כל הטקסט נוצר במקור על ידי gpt-3.5-turbo, מה שאומר שהטיות, שגיאות היסטוריות וסגנון הכתיבה של המודל הזה מובנים עמוק בתוך הדאטה. בנוסף, המאגר מוגבל לתשע דמויות ספציפיות בלבד ומתועד באנגלית, ללא עברית או ייצוג מקומי. אם המטרה היא להביא דמות לעולם האמיתי, אי אפשר להסתמך עליו כמקור ידע מהימן בלי לבדוק עובדות מול מקורות היסטוריים מוסמכים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון המוצהר הוא cc-by-nc-4.0 שמונע במפורש כל שימוש מסחרי בנתונים. אם תאמנו עליו מודל עבור לקוח או אפליקציה בתשלום, תפרו את תנאי הרישיון.
האם יש בדאטהסט שיחות בעברית?
הנתונים נבנו באנגלית בלבד סביב הדמויות שנבחרו. אין במאגר תוכן בעברית או תרגום מובנה, ולכן שימוש בשפה המקומית ידרוש תרגום מראש או אימון מקביל.
איך בדיוק אספו ויצרו את הנתונים?
הטקסטים לא נלקחו מתוך ספרים או תמלילים היסטוריים מקוריים של הדמויות. צוות הפיתוח השתמש ב־gpt-3.5-turbo כדי לייצר סימולציות של סצנות ושיחות, ואז עיבד אותן למבנה של הנחיות ותשובות שמתאים לכוונון עדין.
האם צריך להמיר את הקבצים לפני שמתחילים לאמן?
לא חובה. תיקיית prompted כבר מכילה את הנתונים כשהם ערוכים ומסודרים לכוונון תחת הנחיה, כך שאפשר לגשת אליהם ישירות. מי שמעוניין לעבד את שיחות הגלם מחדש לפי פורמט מותאם אישית יכול לקחת את הקבצים מתיקיית generated.
איך טוענים
לא צריך להירשם או לחכות לאישור גישה כדי להוריד את 29 הקבצים שבמאגר. המפתחים מדגימים משיכה פשוטה באמצעות snapshot_download מספריית huggingface_hub ישירות לקוד פייתון. המבנה מבוסס על קובצי JSON נפרדים לכל דמות, כך שאפשר לגשת ישר לתיקיית prompted כדי להתחיל אימון בלי להמיר את הפלט הגולמי שמחכה בתיקיית generated.
from datasets import load_dataset
ds = load_dataset("OpenMOSS-Team/character-llm-data")הרישיון
הרישיון הוא cc-by-nc-4.0. המשמעות ברורה וחדה: מותר לחקור, ללמוד ולאמן מודלים לצרכים אקדמיים או אישיים, תוך מתן קרדיט ליוצרים. אסור להשתמש בנתונים האלה לכל מטרה מסחרית. מודל שיאומן ישירות על החומרים האלה יוגבל גם הוא ולא יוכל להימכר כמוצר סגור.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא