phr_mental_therapy_dataset
קוד פתוחvibhorag101mit2023-09-15
שיחות טיפוליות סינתטיות שנוצרו במקור עם GPT-3.5 ועברו ניקוי והתאמה. המאגר מיועד למי שרוצה לאמן מודלים על דיאלוגים מובנים בלי להסתבך עם פרטיות של מטופלים אמיתיים.
- 93הורדות בחודש
- 28לייקים
מה זה
הנתונים מבוססים על המאגר nart-100k-synthetic, שנוצר באמצעות סקריפט ייעודי עם מודל gpt3.5-turbo. במקור השיחות נשמרו במבנה של ShareGPT עם שדות נפרדים לאדם ולבוט, אבל כאן הן עברו עיבוד מחדש. המפרסם הסיר את השמות אלכס וצ'ארלי כדי שלא יידבקו לפלטים של המודל שלכם.
המבנה הנוכחי מכיל שדה יחיד בשם text, שכולל את כל השיחה יחד עם ה־system prompt של Llama 2. הטקסטים עטופים בתגיות התחביר של Llama 2, כולל תגיות INST ותגיות תחילת וסוף משפט. בחלק מהשיחות התשובה האחרונה של המודל נחתכה באופן אקראי כדי לגוון את נקודות הסיום.
מתאים ל
- אימון בוטים בפורמט Llama 2
אימון ישיר על שדה הטקסט שכבר כולל את הפרומפטים והתגיות המדויקות בלי עיבוד נוסף.
- סימולציה של שיחות תמיכה
בניית דיאלוגים מובנים באנגלית שמדמים שיח טיפולי פשוט לבדיקת התנהגות מודל.
- בדיקת השפעת שמות קבועים
הערכת תהליכי אימון על נתונים סינתטיים שנוקו מהטיות שמות גנריים כמו אלכס.
איפה זה נופל
כל התוכן מיוצר על ידי מכונה, כך שאין כאן אינטראקציה טיפולית אותנטית אלא חיקוי של סגנון טיפולי דרך מודל שפה. המאגר כולו באנגלית בלבד, ואין בו שום התאמה למי שמחפש עברית. בנוסף, העובדה שהטקסט מגיע כבר עטוף בתגיות ייחודיות של Llama 2 מגבילה אתכם, ואם תרצו לאמן מודל עם מבנה פרומפט אחר תצטרכו לנקות את התגיות ידנית. המידע פורסם בספטמבר 2023 ומשקף את מה ש־GPT-3.5 ידע לייצר באותה תקופה.
שאלות
נפוצות
האם המאגר כולל שיחות בעברית?
לא. הנתונים כולם באנגלית ומבוססים על ייצור סינתטי בשפה זו בלבד. אם המטרה היא מוצר בעברית, תצטרכו לתרגם את הנתונים או לחפש מקור אחר.
האם מותר להשתמש במאגר למוצר מסחרי?
הרישיון המוגדר הוא MIT, שמתיר שימוש מסחרי ללא מגבלות מיוחדות. צריך רק לזכור שהנתונים יוצרו באמצעות GPT-3.5, ולבדוק אם תנאי השימוש של ספק המקור רלוונטיים עבורכם.
איך הנתונים נאספו?
הם לא נאספו מאנשים אלא נוצרו על ידי הרצת סקריפט מול gpt3.5-turbo. בהמשך המפתח ניקה שמות מסוימים וארגן את הטקסט מחדש בפורמט שמתאים ישירות למודלים של Llama 2.
מה ההבדל בין מאגר זה למאגר nart-100k-synthetic המקורי?
המאגר המקורי הגיע במבנה שיחה גולמי של ShareGPT עם שדות נפרדים. כאן הטקסט כבר שורשר למחרוזת אחת עם תגיות מערכת של Llama 2, נוקו ממנו שמות ספציפיים, והתשובה האחרונה נחתכה בחלק מהמקרים.
איך טוענים
טוענים את המאגר ישירות דרך הספרייה של Hugging Face בלי צורך באישור גישה מוקדם. הקבצים מגיעים כקובץ Parquet בודד של אימון לצד קובץ התיעוד, בסדר גודל שבין עשרת אלפים למאה אלף דוגמאות. השדה היחיד שתעבדו מולו הוא text, וכיוון שהוא כבר מפורמט מראש לתחביר של Llama 2, הוא מוכן לאימון מיידי על מודלים מהמשפחה הזו.
from datasets import load_dataset
ds = load_dataset("vibhorag101/phr_mental_therapy_dataset")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון מאפשר שימוש חופשי לחלוטין, כולל שימוש מסחרי ואימון מודלים לצרכים פנימיים או חיצוניים, בלי חובה לשתף את הקוד תחת אותו רישיון. תנאי הבסיס היחיד הוא שמירת הודעת זכויות היוצרים של הרישיון המקורי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש