multi_woz_v22
קוד פתוחpfb30apache-2.02022-03-02
שיחות מרובות תורות באנגלית בין בני אדם סביב מגוון שירותים, עם תיוגים כבדים של כוונות ומצבי שיחה. בגרסה הזו ניקו שגיאות עבר והגדירו מחדש חילוץ ערכים מטקסט חופשי.
- 1,315הורדות בחודש
- 40לייקים
מה זה
המאגר מציג דיאלוגים כתובים שנוצרו בשיטת Wizard of Oz, שבה שני בני אדם מתכתבים כשאחד מדמה משתמש והשני מדמה שירות ממוחשב. הדיאלוגים נוגעים במספר תחומים במקביל כמו רכבות, מסעדות, אטרקציות או בתי חולים. כל רשומה מייצגת שיחה שלמה ומכילה את כל התורות של שני הצדדים. הצד של המשתמש מתועד עם כוונות פעילות ושדות מבוקשים, לצד מיפוי מדויק של מיקומי התווים בטקסט שמהם נלקחו הנתונים או הצבעה על שדות קודמים בשיחה שמתוכם הועתק המידע.
גרסה זו פותחה על ידי חוקרים מגוגל על בסיס גרסאות קודמות מקיימברידג ומאמזון. היא מתקנת שגיאות תיוג במצב השיחה בלמעלה מ־17 אחוז מהתורות, ומבטלת מילונים סגורים עבור שדות בעלי אפשרויות רבות לטובת חילוץ קטעי טקסט חופשיים. החלוקה המוכנה מכילה 8,438 שיחות עם 42,190 תורות לאימון, 1,000 שיחות עם 5,000 תורות לולידציה, ועוד 1,000 שיחות עם 5,000 תורות לבדיקה.
מתאים ל
- מעקב אחר מצב שיחה
חיזוי כוונות המשתמש והערכים שהוא מעביר לאורך דיאלוג מרובה שלבים.
- יצירת תגובות מותאמות שירות
אימון מודלים שמספקים מידע מובנה בהתאם לבקשות של לקוחות.
- זיהוי פעולות שיחה
סיווג תורות לפי סוג הפעולה, כמו מסירת מידע, בקשת הבהרה או בחירה.
איפה זה נופל
הנתונים כולם באנגלית בלבד, ואין כאן אף מילה בעברית או תמיכה בריבוי שפות. הדיאלוגים מבוססים על תרחישים שנאספו במקור במחקרים סביב שירותים מקומיים, ולכן הם לא משקפים התנהגות משתמשים אמיתית בעולם הייצור. כרטיס המאגר לא מפרט הטיות, סיכונים חברתיים, מידע אישי שעלול להימצא בפנים, או את זהות המתייגים המקורית. אם המטרה היא מערכת שירות שרצה בישראל, תצטרכו לאסוף נתונים מקומיים ולא להסתמך עליו.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. רישיון apache-2.0 מתיר שימוש מסחרי מלא, כולל אימון מודלים שמשתלבים במוצרים סגורים. עליכם רק לצרף את הודעת זכויות היוצרים והרישיון המקורי.
האם הדאטהסט כולל עברית?
לא. כל הדיאלוגים והתיוגים במאגר כתובים באנגלית בלבד. כדי לעבוד בעברית תצטרכו לתרגם את הנתונים או לבנות מאגר ייעודי.
מה ההבדל בין גרסה זו לגרסאות קודמות של המאגר?
גרסה 2.2 מתקנת שגיאות תיוג במצב השיחה שנמצאו בלמעלה מ־17 אחוז מהתורות בגרסה 2.1. בנוסף, היא החליפה הגדרות של ערכים סגורים בתיוג ישיר של קטעי טקסט עבור שדות כמו שמות ושעות.
איך נאספו השיחות במקור?
השיחות נוצרו באמצעות התכתבות בין שני אנשים בשיטת Wizard of Oz, שבה אחד גילם משתמש והשני גילם את המערכת. התהליך כיסה תרחישים שונים של הזמנת מקומות ובירור מידע על פני שירותים מרובים.
איך טוענים
טוענים את המאגר ישירות בספריית datasets עם המזהה pfb30/multi_woz_v22. הגישה חופשית לגמרי ואינה דורשת הרשמה או אישור מקדים. המבנה מורכב יחסית, כך שבמקום טקסט גולמי מקבלים מבנה עמוק שבו כל שיחה מכילה רשימת תורות, פעולות דיאלוג עם מיקומי תווים, ואובייקטי מצב שמחזיקים כוונות וערכי שדות. צריך לכתוב פונקציות עיבוד מתאימות כדי לחלץ את הטקסט הנקי או את התיוגים הרלוונטיים למודל.
from datasets import load_dataset
ds = load_dataset("pfb30/multi_woz_v22")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי, מחקרי ושינוי של הקוד והנתונים ללא תשלום, ומאפשר שימוש במודלים שאומנו עליו בכל מוצר. התנאי המרכזי הוא שמירה על הודעת הרישיון ומתן ייחוס ליוצרים, ללא חובת שיתוף של השינויים שלכם תחת אותו הרישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים