TaiwanChat
קוד פתוחyentinglincc-by-nc-4.02023-08-10
מאגר שיחות בסינית מותאם לתרבות של טייוואן, עם מאות אלפי רשומות. הוא נועד לאימון מודלי שיחה שמכוונים במפורש לדוברי סינית מסורתית בהקשר מקומי.
- 224הורדות בחודש
- 69לייקים
מה זה
מדובר במאגר שיחות בסינית מסורתית שנוצר סביב הפרויקט של מודל השפה לטייוואן שפרסמו ין טינג לין ויונג נונג צ'ן. הרשומות מיועדות למשימות שיחה ויצירת טקסט, ומכילות בין מאה אלף למיליון דוגמאות אימון. לפי המידע המצורף, הוא מחולק לשלושה קבצי אימון עיקריים שמרכיבים את המאגר השלם.
כרטיס המאגר כמעט ריק מפרטים טכניים יבשים. אין בו תיעוד של שיטות האיסוף, איך סוננו השיחות, מאיזה מקורות רשת הן נלקחו או אם חלקן סונתז על ידי מודלים אחרים. יש בעמוד בעיקר תמונות של ביצועי המודל והפניה למאמר אקדמי של החוקרים, בלי פירוט של הסכמה המדויקת של הרשומות או חלוקה לסט בדיקה.
מתאים ל
- אימון מודלי שיחה בסינית
כוונון עדין של מודלי שפה למענה בסגנון שיחה המותאם לטייוואן ולסינית מסורתית.
- מחקר בלשנות והתאמה תרבותית
בדיקת הבדלי שפה וסגנון לעומת מאגרי שיחה שמקורם בסין היבשתית.
- הערכת ביצועי מודלים
שימוש ברשומות כבסיס השוואה למודלים שנבחנו במאמר המקורי.
איפה זה נופל
החיסרון הבולט הוא היעדר שקיפות מוחלט בכרטיס עצמו. לא מוסבר איך המידע סונן, מה רמת הרעילויות או ההטיות בשיחות, ומתי בדיוק נאסף החומר מעבר לתאריך הפרסום באוגוסט 2023. המאגר מוגדר לשפה הסינית בלבד, אין בו עברית או אנגלית, וכל שימוש בו דורש בדיקה ידנית עיוורת של התוכן לפני שרצים לאמן משהו רציני.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון שדווח הוא לא מסחרי לחלוטין. מודל שתאמנו עליו מוגבל למחקר או שימוש עצמי, ואסור למכור גישה אליו.
האם יש במאגר טקסטים בעברית?
לא, המאגר מתועד לשפה הסינית בלבד. הוא לא רלוונטי לעבודה על מודלים בעברית או משימות מקומיות בישראל.
איך הנתונים נאספו ונבדקו?
הכרטיס לא מספק מידע על תהליך האיסוף או הסינון. כדי להבין מאיפה החומר הגיע צריך לקרוא את המאמר האקדמי שצוטט בעמוד.
מה הפורמט שבו הקבצים נשמרים במאגר?
הנתונים מחולקים לשלושה קבצי פרקט פשוטים בתיקיית המידע. אפשר למשוך אותם בקלות בסקריפט פייתון בלי צורך בהמרות מיוחדות.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית הדאטהסטס הרגילה עם המזהה של המאגר. הנתונים ארוזים בשלושה קבצי פרקט תחת תיקיית הדאטה, כך שהטעינה עצמה מהירה ולא דורשת אישור גישה מיוחד או מפתח פרטי. בגלל שהתיעוד לא מציג את השדות, תצטרכו להדפיס רשומה ראשונה כדי לראות את מבנה המפתחות וההודעות.
from datasets import load_dataset
ds = load_dataset("yentinglin/TaiwanChat")הרישיון
המאגר מופץ תחת רישיון לא מסחרי עם ייחוס. זה אומר שאתם מוגבלים למחקר אקדמי, ניסויים פנימיים ושימוש אישי בלבד, בלי שום אפשרות לשלב אותו במוצר שמייצר הכנסה או לאמן עליו מודל שיימכר ללקוחות. אם אתם מפרסמים תוצאות, חובה לתת קרדיט למחברים לפי הציטוט שבכרטיס.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא