Creative_Writing_Multiturn
קוד פתוחDampfinchenapache-2.02024-10-06
אוסף שיחות ארוכות במיוחד לכתיבה יוצרת ומשחקי תפקידים. המטרה כאן היא ללמד מודלים לזכור פרטים לאורך עשרות ומאות תורות שיחה בלי לאבד קוהרנטיות.
- 1,538הורדות בחודש
- 35לייקים
מה זה
המאגר ממזג שבעה מקורות שונים של כתיבה יוצרת ומשחקי תפקידים, בהם Airoboros, דאטהסטים מבוססי פורומים כמו Bluemoon, שיחות CAI ממאגר Pippa, ונתוני ספרות מ־Gutenberg. המשותף לרוב הרשומות הוא אורך השיחה. תמצאו כאן שיחות של עשרות עד מאות תורות, כשהמקסימום מגיע ל־880 תורות, עם אורך הקשר שהוגבל ל־32K טוקנים. בנוסף נוספה כמות קטנה של הוראות רגילות כדי שהמודל לא יאבד יכולות בסיסיות, ומספר דוגמאות חשיבה עם תגיות ייעודיות.
היוצר העביר את הנתונים סינון כפול. נעשתה הסרה של כפילויות, נחתכו קטעים עם לופים של מודלים מוקדמים, ונמחקו ביטויים קלישאתיים טיפוסיים של בינה מלאכותית, כולל עריכה ידנית של חלק מהשיחות.
מתאים ל
- אימון מודל למשחקי תפקידים
לימוד שמירה על דמות, סגנונות כתיבה מגוונים ופורמטים שונים של כרטיסי דמות לאורך שיחה מתמשכת.
- שיפור זיכרון בהקשר ארוך
אימון המודל לזכור פרטים שנכתבו עשרות תורות אחורה בחלונות של 16K עד 32K טוקנים.
- כתיבת סיפורים ועלילות
הפקת טקסטים עשירים ומפורטים ללא ביטויים שבלוניים שמופיעים לעיתים קרובות בפלט של בינה מלאכותית.
איפה זה נופל
היוצר מזהיר בפירוש שהמאגר מכיל תכנים גרפיים, מיניים ובוטים מאוד שלא סוננו במלואם. אין גרסה נקייה, כך שמי שצריך תוכן מתאים לכל המשפחה יצטרך לסנן לבד לפי מילות מפתח. הנתונים כולם באנגלית בלבד, ואין כאן עברית כלל. שימוש במאגר הזה למודל שירותי או למוצר מסחרי עם לקוחות קצה דורש סינון בטיחות אגרסיבי לפני האימון.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
הרישיון הרשמי הוא Apache 2.0 והוא מאפשר שימוש מסחרי. מצד שני, המאגר מורכב משילוב של פורומים ודאטהסטים אחרים ומכיל תוכן בוטה מאוד, כך שכדאי לשקול היטב את הסיכון המשפטי והתדמיתי לפני שמכניסים אותו למוצר.
האם יש במאגר טקסטים בעברית?
לא. כל הנתונים במאגר הם באנגלית בלבד. אם המטרה היא כתיבה בעברית, המאגר לא יועיל בלי תרגום או אימון מקביל על חומרים מקומיים.
מה מייחד אותו לעומת מאגרי תפקידים אחרים?
רוב המאגרים מתמקדים בתורות בודדים או שיחות קצרות. כאן הדגש הוא על שיחות ארוכות של עשרות ומאות תורות, שעברו ניקוי של קלישאות בינה מלאכותית מוכרות.
האם המאגר מתאים למודלים שמשתמשים בתגיות חשיבה?
כן. העדכון האחרון הוסיף תת קבוצה קטנה של דוגמאות הכוללות תגיות חשיבה והנחיית מערכת מתאימה, כך שהוא מתאים למודלי שיחה רגילים וגם למודלים עם תהליך חשיבה מובנה.
איך טוענים
הנתונים מוגשים בקובץ JSON בשם Creative-Writing-MultiturnV1.1.json ואין צורך באישור גישה כדי להוריד אותו. המאגר מכיל בין אלף לעשרת אלפים רשומות, ומומלץ לאמן באורך הקשר של 32K טוקנים, או 16K לכל הפחות, כדי לנצל את השיחות הארוכות. כל דוגמה כוללת הנחיית מערכת שתואמת את סגנון השיחה.
from datasets import load_dataset
ds = load_dataset("Dampfinchen/Creative_Writing_Multiturn")הרישיון
הרישיון המוצהר הוא Apache 2.0, שמתיר שימוש מסחרי, שינוי והפצה בלי לחייב פתיחה של הקוד או המודל המאומן. יחד עם זאת, הנתונים הורכבו ממאגרים שונים ופורומים ברשת, ויוצר המאגר מסיר כל אחריות חוקית לתוכן הטקסטים וממליץ לבדוק את החוקיות של החזקת טקסטים בדיוניים כאלה במדינתכם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים