lccc

מה זה

הנתונים מבוססים על שיחות שנאספו מרשתות חברתיות בסין. כל שורה מייצגת דיאלוג שלם ומכילה רשימה של משפטים עוקבים בין הדוברים, בדומה לצ'אט אמיתי.

הצוות העביר את הטקסטים תהליך סינון אגרסיבי שכלל חוקים מוגדרים מראש ומסווגים מבוססי למידת מכונה. הם ניקו מילים רגישות או בוטות, אימוג'ים, תווים מיוחדים, משפטים עם שגיאות תחביר ושיחות שבהן התגובות לא היו קשורות להקשר.

המאגר מגיע בשתי גרסאות: גרסת בסיס וגרסה גדולה. לחלק הבסיסי יש חלוקה מובנית של מעל 6.8 מיליון שיחות לאימון, 20,000 לוולידציה ו־10,000 למבחן. לגרסה הגדולה לא פורסמה חלוקה רשמית.

מתאים ל

• אימון מודלי שיחה

  מתאים לבניית צ'אטבוטים שמייצרים תגובות טבעיות בסינית ברמת שיחה יומיומית.

• דירוג ושליפת מענה

  אימון מודלים שבוחרים את התגובה המתאימה ביותר מתוך מאגר תשובות קיים לפי הקשר.

• מחקר על דיאלוגים

  בדיקת אלגוריתמים למעקב אחרי הקשר רב שלבי בשיחות טקסטואליות מרובות דוברים.

איפה זה נופל

הנתונים כולם בסינית בלבד, אין כאן מילה בעברית או באנגלית והוא לא יעזור לפרויקטים מקומיים. כרטיס המאגר משאיר שדות רבים ריקים: אין פירוט על המקורות המדויקים, מי האנשים שכתבו את השיחות, או אילו הטיות חברתיות קיימות בטקסט. בנוסף, בגלל שהסינון הסיר סלנג, תווים מיוחדים ואימוג'ים, המודלים עלולים להישמע מעט סטריליים ביחס לשיחה חיה ברשת.

איך טוענים

בניגוד לגרסת המקור בגיטהאב שהופצה כקובץ ג'ייסון, כאן הנתונים מוגשים בקובצי jsonl מכווצים. הטעינה נעשית דרך סקריפט ייעודי שמצורף למאגר. אין צורך לבקש אישור גישה מיוחד, המאגר ציבורי לחלוטין. קחו בחשבון שמדובר בהיקף של עשרות מיליוני רשומות, כך שצריך להיערך לנפח אחסון משמעותי.

from datasets import load_dataset

ds = load_dataset("silver/lccc")

הרישיון

המאגר מוגדר תחת רישיון MIT. זהו רישיון מתירני שמאפשר שימוש מסחרי, שינוי והפצה, כל עוד שומרים על הודעת זכויות היוצרים המקורית. המודלים שתאמנו עליו אינם מחויבים ברישיון פתוח זהה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗