thu-coai/lccc
קוד פתוחthu-coaimit2022-06-14
מאגר ענק של שיחות בסינית שנאספו מרשתות חברתיות ועברו סינון קפדני. הוא מיועד למי שרוצה לאמן או להעריך מודלים למענה ושיחה בסינית על טקסט נקי יחסית.
- 666הורדות בחודש
- 36לייקים
מה זה
המאגר מכיל רצפי שיחות טבעיות בסינית שמקורן ברשתות חברתיות בסין. כל רשומה כוללת רשימה של משפטים שמרכיבים שיחה אחת רציפה. המטרה של היוצרים הייתה להיפטר מהלכלוך האופייני לפלטפורמות כאלה, ולכן הם העבירו את המידע שרשרת סינון שכללה חוקים ידניים לצד מסווגים אוטומטיים.
תהליך הניקוי הסיר מילים רגישות, קללות, אימוג'ים, סימנים מיוחדים, משפטים עם שגיאות תחביר ושיחות שבהן התגובות לא היו קשורות להקשר. המאגר מגיע בשתי גרסאות, כאשר עבור גרסת הבסיס יש חלוקה מוגדרת של 6,820,506 דוגמאות לאימון, 20,000 לוולידציה ו־10,000 לבדיקה. עבור הגרסה הגדולה יותר לא פורסמה חלוקה רשמית.
מתאים ל
- אימון מודלי שיחה
יצירת מודלים שמייצרים תשובות טבעיות והמשך שיחה בסינית על בסיס טקסט חברתי מפוקח.
- מערכות אחזור תגובות
אימון מודלים שמדרגים ובוחרים את התגובה המתאימה ביותר מתוך מאגר קיים בהינתן הקשר שיחה.
- הערכת ביצועי שיחה
בדיקת איכות של מודלי שפה בסינית על גבי סטי המבחן המוכנים של גרסת הבסיס.
איפה זה נופל
הנתונים כולם בסינית בלבד, כך שאין כאן שום רלוונטיות ישירה לפיתוח בעברית או באנגלית. בנוסף, המקור הוא פוסטים ותגובות מרשתות חברתיות בסין, מה שמביא איתו סגנון דיבור ייחודי לפלטפורמות האלו. הכרטיס מודה בסינון של מילים רגישות, מה שעלול לייצר צנזורה מובנית בטקסט. מעבר לכך, פרטים רבים על זהות המשתמשים המקוריים, הטיות חברתיות והשפעות אתיות סומנו בכרטיס כחסרי מידע.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. הרישיון המוגדר הוא MIT, והוא מתיר שימוש מסחרי מלא ללא הגבלת רישוי על התוצרים. חובה רק לצרף את הצהרת זכויות היוצרים והרישיון המקורי.
האם המאגר כולל טקסטים בעברית?
לא. כל הנתונים במאגר נאספו מרשתות חברתיות בסין והם מופיעים בשפה הסינית בלבד. אין בו תוכן בעברית או תרגום.
איך נאספו ונוקו השיחות?
החוקרים אספו שיחות מפלטפורמות חברתיות בסין והעבירו אותן סינון דו שלבי. הסינון כלל חוקים מוגדרים מראש ומסווגי למידת מכונה כדי להוציא קללות, אימוג'ים, משפטים שבורים ותגובות שלא קשורות להקשר השיחה.
מה ההבדל בין גרסת הבסיס לגרסה הגדולה?
גרסת הבסיס מגיעה עם חלוקה מוגדרת לאימון, ולידציה ובדיקה הכוללת מעל 6.8 מיליון שיחות. הגרסה הגדולה מכילה היקף נתונים רחב יותר, אך היוצרים לא הגדירו עבורה חלוקת ספליט רשמית.
איך טוענים
הטעינה מתבצעת דרך ספריית הדאטהסטס באמצעות מזהה המאגר או קובץ הסקריפט lccc.py שמצורף אליו. אין כאן תהליך אישור ידני או טופס גישה, המאגר פתוח להורדה ישירה. המבנה פשוט מאוד ומכיל שדה מרכזי יחיד בשם dialog, שמחזיר מערך של מחרוזות טקסט לפי סדר הדיבור. בגלל שמדובר במיליוני רשומות, כדאי לוודא שיש לכם מספיק שטח אחסון וזיכרון עבודה לפני שמתחילים לפרוק ולעבד את הקבצים.
from datasets import load_dataset
ds = load_dataset("thu-coai/lccc")הרישיון
המאגר מופץ תחת רישיון MIT. זהו רישיון מתירני שמאפשר שימוש חופשי לחלוטין, כולל שימוש מסחרי, שינוי הקוד והנתונים, והפצה מחדש. הדרישה היחידה היא לשמור על הודעת זכויות היוצרים ונוסח הרישיון המקורי. מודלים שתאמנו על הדאטהסט אינם כבולים לחובת שיתוף באותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש