ChatHaruhi-Expand-118K
קוד פתוחsilk-roadcc-by-4.02023-12-02
מאגר שיחות שנועד לאימון מודלים למשחקי תפקידים וחיקוי דמויות, המשלב עשרות אלפי דוגמאות בסינית ובאנגלית. הוא מיועד למי שמחפש נתונים מוכנים להוראת תפקיד מבוססת הקשר.
- 69הורדות בחודש
- 33לייקים
מה זה
הנתונים מורכבים משלושה מקורות עיקריים שחולקו לקבצים שונים. החלק הגדול ביותר כולל 62,663 רשומות שמקורן בגרסה קודמת של פרויקט הדמות הארוהי סוזומיה, לצד 42,255 דוגמאות באנגלית שנלקחו מהמאגר של RoleLLM, ועוד 13,166 רשומות בסינית ממקור שלא צוין בשמו בכרטיס.
המבנה הכללי מכיל סך של כ־118 אלף רשומות דיאלוג. היוצרים עיבדו וסיננו את הנתונים באמצעות מחברות פייתון ייעודיות, תוך שימוש במעבדי T4 בקצב של כשמונה דוגמאות לשנייה. הסינון של החלק האנגלי בוצע במחברת נפרדת שנועדה להכין את סט האימון, והמאגר כולו אורגן מחדש כדי לאפשר שחזור עם אורכי הקשר שונים או מודלי שיקוע שונים לפי צורכי המפתח.
מתאים ל
- אימון למשחקי תפקידים
כוונון מודלים לשמירה על דמות ספציפית ועקבית באנגלית או בסינית.
- בדיקת אורכי הקשר
שחזור נתוני שיחה עם חלונות הקשר שונים לפי תסריטי המקור.
- אימון מודל דו-לשוני
בניית סוכן שיחה שמסוגל לעבור בין אנגלית לסינית בסגנון תיאטרלי.
איפה זה נופל
אין כאן מילה אחת בעברית, והמאגר מוגבל אך ורק לסינית ולאנגלית. הנתונים מתמקדים באישיות של דמויות מסוימות כמו דמות האנימה הארוהי, כך שהם לא מתאימים לבוטים כלליים או לשימושים עסקיים שדורשים טון ענייני. בנוסף, הכרטיס משאיר את מקור 13,166 הרשומות בסינית פתוח ולא מתועד, והחומרים מבוססים על קוד ומחברות מסוף שנת 2023, כך שחשוב לדגום את תוכן השיחות כדי לוודא שאין בהן זליגה של טקסטים מוגנים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון המדווח הוא cc-by-4.0 שמתיר שימוש מסחרי חופשי. התנאי היחיד הוא מתן קרדיט מלא ליוצרים וציון שינויים שביצעתם בנתונים. עם זאת, מומלץ לבדוק את זכויות היוצרים של הדמויות עצמן בתוך הטקסט.
האם המאגר מכיל שיחות בעברית?
לא, אין במאגר שום נתונים בעברית. כל הרשומות מחולקות בין השפה הסינית לבין השפה האנגלית בלבד. אם המטרה היא לאמן בוט עברי, תצטרכו לתרגם את הנתונים או לחפש מקור אחר.
מאיפה הגיעו הנתונים שנאספו במאגר?
המאגר מורכב משלושה מקורות עיקריים שחוברו יחד. חלק הארי מגיע מגרסה קודמת בשם ChatHaruhi-54K, מעל ארבעים אלף רשומות נלקחו מהפרויקט RoleLLM, ועוד כ־13 אלף רשומות בסינית עובדו ממקור שלא צוין במפורש בכרטיס.
איך טוענים
המאגר ציבורי ופתוח להורדה ישירה ללא צורך באישור גישה. הנתונים מחולקים לחמישה קבצים, ביניהם קובצי jsonl ייעודיים לכל חלק כמו Chinese15.jsonl, Haruhi54K.jsonl ו־RoleLLM.jsonl. בגלל החלוקה לקבצים נפרדים, כדאי לטעון רק את קובץ השפה הרלוונטי או לאחד אותם ידנית לפני שמתחילים את שלב האימון.
from datasets import load_dataset
ds = load_dataset("silk-road/ChatHaruhi-Expand-118K")הרישיון
המאגר מופץ תחת רישיון cc-by-4.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה של הנתונים, כל עוד אתם נותנים קרדיט מתאים ליוצרים ומציינים אם נעשו שינויים. אין דרישה לשתף את המודל המאומן תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס