conv_ai_2

מה זה

המאגר כולל שיחות דיאלוג מלאות לצד מטא-דאטה שמתעד את איכות האינטראקציה. כל רשומה מייצגת שיחה בעלת מזהה ייחודי, ומכילה את מערך חילופי הדברים, פרופיל של הבוט ופרופיל של המשתמש שנועדו להערכה. בנוסף, ישנו ציון איכות כללי שהמשתמש נתן לשיחה בסולם של אחת עד חמש.

חלק מעניין במבנה הנתונים הוא שדה התאמת הפרופיל, שבו המשתמש התבקש לבחור בין תיאור הפרופיל האמיתי של הבוט לבין תיאור אקראי כדי לבדוק עקביות. ערכים חסרים בציונים ובבדיקות מסומנים במספר מינוס אחת. לפי התיעוד הרשמי חסרים פרטים על אופן הסינון, מקור הדוברים וחלוקת הנתונים לחלקים שונים.

מתאים ל

• אימון מדדי הערכה לשיחה

  שימוש בציוני המשתמשים מ־1 עד 5 כדי לאמן מודל שיודע להעריך אוטומטית איכות של תגובות בצ'אט.

• אימון בוטים מונחי אישיות

  כוונון מודלי שפה לשמירה על פרופיל עקבי בשיחה בהתבסס על שדות הפרופיל והדיאלוגים.

• סיווג איכות דיאלוגים

  בניית מסווג שמזהה האם שיחה עמדה בציפיות המשתמש או נכשלה, לפי נתוני הציון והתאמת הפרופיל.

איפה זה נופל

הכרטיס כמעט ריק ממידע קריטי על תהליך האיסוף, הטיות, או סינון של פרטים מזהים ומידע רגיש. הטקסטים באנגלית בלבד, ואין כאן עברית כלל. בנוסף, הנתונים מתבססים על תחרות משנת 2018 ופורסמו במאגר ב־2022, כך ששיחות עם בוטים מהתקופה הזו לא משקפות את רמת המודלים של היום. לא הייתי בונה על זה מודל פרודקשן בלי בדיקה ידנית של איכות השיחות.

איך טוענים

טוענים את המאגר ישירות דרך הספרייה באמצעות קריאה למזהה convai-challenge/conv_ai_2, שמכיל קובץ סקריפט ייעודי ואינו דורש אישור גישה מראש. המאגר כולל בין אלף לעשרת אלפים רשומות, כך שהוא קל ונטען מהר. עיקר העבודה מצריך טיפול בערכי מינוס אחת שמסמנים מידע חסר בעמודות הדירוג, ופירוק מערך השיחה עצמו.

from datasets import load_dataset

ds = load_dataset("convai-challenge/conv_ai_2")

הרישיון

הרישיון מוגדר כלא ידוע, ואין בכרטיס שום פירוט על תנאי השימוש. במצב כזה אסור להניח שמותר להשתמש במידע למטרות מסחריות, ואי אפשר לדעת מה ההשלכות על מודל שתאמנו עליו. לשימוש מחקרי כדאי לבדוק את הרישיון במאגר המקורי בגיטהאב או במאמר המקושר.

הרישיון המלא ב־Hugging Face ↗