counsel-chat
קוד פתוחnbertagnolliרישיון לא דווח2023-02-07
המאגר מרכז שאלות של גולשים ותשובות של מטפלים מוסמכים מארצות הברית. הוא מיועד למי שמחפש טקסטים בתחום בריאות הנפש שנכתבו בידי אנשי מקצוע ולא משתמשים אנונימיים ברשת.
- 1,353הורדות בחודש
- 70לייקים
מה זה
הנתונים נאספו בסריקה ישירה מאתר Counselchat.com ב־1 באפריל 2022. האתר שימש זירה שבה יועצים ומטפלים השיבו לפניות של יחידים כדי לבנות מוניטין מקצועי, והמשתמשים יכלו לסמן בלייק תשובות מועילות. המטרה באיסוף הייתה לייצר מקור חלופי לפורומים כלליים כמו רדיט, שלא משקפים שפה טיפולית מקצועית.
כל רשומה כוללת את שאלת הפונה עם כותרת, מזהה ייחודי, נושא וקישור, לצד תגובת המטפל, מספר ההצבעות החיוביות שקיבלה, ותקציר פרטי המטפל כולל שמו והתמחותו. הטקסט נשמר במצבו הגולמי ללא נרמול או תיוגים נוספים מעבר לנתונים המקוריים שנאספו מהאתר. החלוקה לחלקי אימון, ולידציה ובדיקה מוטמעת ישירות בעמודה ייעודית בתוך הקובץ.
מתאים ל
- אימון מודל לשפה טיפולית
לימוד סגנון מענה של אנשי מקצוע בתחום בריאות הנפש במקום שפת פורומים רגילה.
- דירוג איכות מענה
שימוש במספר ההצבעות החיוביות של כל תגובה כדי ללמד מודלים להעריך טיב של תשובה.
- סיווג שאלות לפי נושאים
בניית מודל שממיין פניות אישיות לנושאים וקטגוריות בתחום הרווחה הנפשית.
איפה זה נופל
הנתונים מבוססים על אנגלית בלבד ומגיעים מאנשי מקצוע שפעלו בארצות הברית, כך שאינם מותאמים לתרבות או לשפה העברית. המידע אינו אנונימי לחלוטין ומכיל שמות וקישורים לפרופילים של המטפלים. היוצר מציין במפורש שהטקסט גולמי ולא עבר נרמול או עיבוד, וכרטיס המאגר משאיר ריקים את סעיפי ההטיות והמגבלות הנוספות, מה שמחייב בדיקה ידנית של איכות התכנים לפני כל שימוש מעשי.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מסחרי?
כן, תנאי רישיון MIT המופיעים בטקסט הכרטיס מתירים שימוש מסחרי ללא תשלום. עם זאת, יש סתירה מסוימת מול המטא-דאטה שבו נכתב כי הרישיון לא דווח. החוקרים והמפתחים נדרשים לתת קרדיט ליוצר המאגר.
האם יש במאגר טקסטים בעברית?
לא, כל השאלות והתשובות במאגר נכתבו באנגלית. הן נאספו מפלטפורמה שפעלה בארצות הברית מול קהל מקומי. כדי להשתמש בזה למוצר בעברית תידרש עבודת תרגום והתאמה תרבותית.
איך המאגר נאסף והאם הוא עבר סינון?
המאגר נאסף באמצעות סריקה אוטומטית של אתר Counselchat.com ב־1 באפריל 2022. הנתונים נשמרו בפורמט גולמי לחלוטין וללא נרמול של הטקסט. לא בוצעו בו תיוגים יזומים מעבר למידע שהיה קיים באתר עצמו.
במה הוא שונה ממאגרי בריאות נפש שנלקחו מרדיט?
התשובות נכתבו בידי מטפלים מוסמכים שפרסמו את שמותיהם כדי לקדם את הקליניקות שלהם, ולא בידי גולשים אנונימיים. הדבר מספק טקסט מקצועי ומבוקר יותר ביחס לפורומים פתוחים. לצד זאת, השאלות עצמן כן הגיעו מאנשים אנונימיים שפנו לקבלת ייעוץ.
איך טוענים
המאגר כולל קובץ CSV יחיד בשם 20220401_counsel_chat.csv ושני קבצים נלווים, ללא צורך בהרשאת גישה מיוחדת. אפשר להוריד אותו ישירות ולקרוא אותו עם פנדס או דרך ספריית הדאטהסטים. בעבודה עם הקובץ חשוב לשים לב לשדות answerText ו־questionText שמכילים את גוף השיחה, לצד שדה upvotes שמסייע לסנן תשובות איכותיות, ושדה split שמגדיר את חלוקת הדגימות.
from datasets import load_dataset
ds = load_dataset("nbertagnolli/counsel-chat")הרישיון
הרישיון של המאגר מוגדר כ־MIT בגוף הכרטיס, אף שבמטא-דאטה הכללי צוין כי לא דווח רישיון. רישיון MIT מתיר שימוש מסחרי ומחקרי חופשי, בכפוף למתן קרדיט ושמירת הודעת הרישיון המקורית. המשמעות היא שניתן לאמן עליו מודלים ולשלב אותם במוצרים מסחריים בלי דרישה לפתוח את הקוד שלכם.