NaturalConv

מה זה

במאגר יש 19,919 שיחות הכוללות כ־400,000 תורות דיבור, וכולן מתנהלות בסינית. השיחות מחולקות לחלקים באמצעות הקבצים train.txt, dev.txt ו־test.txt, שמכילים את המזהים של כל שיחה לחלוקה מסודרת לאימון, תיקוף ובדיקה. כל שיחה בקובץ dialog_release.json מקושרת למזהה שיחה, מזהה מסמך ולרשימת התורות שנאמרו בה.

השיחות נשענות על 6,500 מסמכים שונים המפורטים בקובץ document_url_release.json. הקובץ הזה לא כולל את תוכן הכתבות המלא, אלא רק את מזהה המסמך, הנושא שלו והקישור למקור ברשת. מי שצריך את הטקסט המקורי של המסמכים עבור אימון מבוסס מקורות, צריך להוריד אותו ישירות מהאינטרנט לפי הקוד שמספקים החוקרים.

מתאים ל

• אימון צ'אטבוטים בסינית

  פיתוח מודלים לשיחה מרובת תורות סביב נושאים מוגדרים וידיעות חדשותיות.

• הערכת שיחה מבוססת מסמך

  מדידת היכולת של סוכני שיחה להיצמד לתוכן של טקסט מקור חיצוני.

• מחקר אקדמי על דיאלוג

  בחינת מעברים בין נושאים וזרימת שיחה טבעית במאגרי דיאלוג גדולים.

איפה זה נופל

הנתונים כולם בסינית בלבד, כך שאין כאן שום מגע עם עברית או אנגלית. חיסרון בולט נוסף הוא שהמסמכים עצמם לא מגיעים בתוך המאגר, אלא רק כקישורים חיצוניים, מה שאומר שקישורים שבורים עלולים למנוע גישה לחלק מחומר המקור. אם אתם בונים מוצר שדורש את טקסט הבסיס, תצטרכו להריץ קצירה עצמאית ולוודא שהמידע עדיין קיים ברשת.

איך טוענים

טוענים את הנתונים ישירות מקובצי ה־JSON הפשוטים בעזרת קוד פייתון רגיל, בלי צורך בטעינה מורכבת של Hugging Face. המאגר כולל בסך הכל שמונה קבצים פתוחים ללא דרישת אישור גישה מוקדם, והשדות העיקריים שמעניינים אתכם הם content שמכיל את חילופי הדברים, ו־document_id שמחבר את השיחה למסמך הרלוונטי.

from datasets import load_dataset

ds = load_dataset("xywang1/NaturalConv")

הרישיון

הרישיון כאן אינו רישיון קוד פתוח סטנדרטי אלא תנאים ייעודיים של Tencent AI Lab, והוא אוסר לחלוטין כל שימוש מסחרי. המאגר מיועד למחקר בלבד, ואי אפשר להשתמש בו ישירות למוצרים מסחריים בלי לקבל אישור מראש במייל מול החברה.

הרישיון המלא ב־Hugging Face ↗