turkish-sentiment-analysis-dataset
קוד פתוחwinvokercc-by-sa-4.02022-03-02
מאגר לסיווג רגש בטורקית שכולל מחלקה ניטרלית לצד חיובי ושלילי. הוא נבנה מחיבור כמה מקורות כדי לפתור מחסור בדוגמאות שלא נוטות לשום צד.
- 543הורדות בחודש
- 48לייקים
מה זה
המאגר כולל 492,782 משפטים מתויגים בטורקית, ומחולק לשלוש קטגוריות: חיובי, שלילי וניטרלי. המניע העיקרי של היוצר היה שרוב הכלים והמאגרים בתחום מציעים סיווג בינארי בלבד, בזמן שבמציאות משתמשים כותבים משפטים ללא מטען רגשי. החלוקה הפנימית מוגדרת מראש, כשעשרה אחוזים מכלל הנתונים שמורים לבדיקה והשאר לאימון.
התוכן נאסף מכמה מקורות חיצוניים שונים. הדוגמאות החיוביות והשליליות הגיעו ממאגרי ביקורות מוצרים, נתוני טוויטר ופרויקטים קיימים לסיווג טקסט בטורקית. לעומת זאת, הטקסטים הניטרליים נלקחו מתוך מאגר ערכים של ויקיפדיה הטורקית, ובנוסף שולבו בהם טקסטים אקראיים כמו משפטי לורם איפסום כדי לדמות קלט חסר רגש.
מתאים ל
- אימון מסווג רגש תלת-ראשי
בניית מודל סיווג לטורקית שמזהה חיובי, שלילי ומצבי ביניים.
- בדיקת ביצועים לטקסט טורקי
שימוש בקובץ המבחן המוכן כדי להעריך מודלים קיימים מול שלוש תוויות.
- מחקר על דאטה סינתטי
בדיקה של השפעת משפטי ויקיפדיה ולורם איפסום על איכות סיווג הניטרליות.
איפה זה נופל
הבעיה הגדולה ביותר כאן היא הדרך שבה נוצרה המחלקה הניטרלית. לקחת טקסטים מוויקיפדיה או לורם איפסום ולהגדיר אותם כניטרליים יוצר הטיה חמורה, כי סגנון הכתיבה הזה רחוק מאוד מביקורת גולשים או ציוץ רגיל. המודל עלול ללמוד לזהות אנציקלופדיה במקום לזהות רגש ניטרלי. בנוסף, המאגר מוגבל לשפה הטורקית בלבד, עלה ב־2022, והוא מורכב מכמה מקורות שונים בלי פירוט על בדיקות איכות או ניקוי כפילויות שנעשו ביניהם.
שאלות
נפוצות
האם המאגר כולל עברית?
לא. המאגר מיועד אך ורק לשפה הטורקית, למעט קטעי טקסט אקראיים בלטינית כמו לורם איפסום שנוספו למחלקה הניטרלית.
מותר להשתמש בו במוצר מסחרי?
הרישיון מאפשר שימוש מסחרי, אך דורש מתן קרדיט וכולל סעיף שיתוף זהה. המשמעות היא ששינויים או נגזרות של המאגר חייבים להשתחרר תחת אותו רישיון בדיוק.
איך נאספו הנתונים?
החלק החיובי והשלילי נאסף ממאגרי נתונים קיימים של ביקורות מוצרים וטוויטר. החלק הניטרלי נלקח מטקסטים של ויקיפדיה בטורקית וממשפטים אקראיים.
במה הוא שונה ממאגרי רגש אחרים בטורקית?
רוב המאגרים בטורקית מכילים רק שתי תוויות של חיובי ושלילי. כאן היוצר הוסיף תווית שלישית עבור טקסט ניטרלי כדי להתמודד עם קלט שאין בו מטען רגשי מובהק.
איך טוענים
המאגר יושב כקבצי טבלה פשוטים, בעיקר train.csv ו־test.csv, כך שאפשר לטעון אותם ישירות בספריות פייתון או דרך ממשק פתוח בלי צורך לבקש אישור גישה מוקדם. הנתונים מוכנים לפיצול של אימון ומבחן. לפני שמתחילים לאמן, צריך לבדוק את מבנה העמודות המדויק בכל קובץ ולראות איך מיוצגות שלוש התוויות בטבלאות.
from datasets import load_dataset
ds = load_dataset("winvoker/turkish-sentiment-analysis-dataset")הרישיון
הרישיון הוא cc-by-sa-4.0. מותר להשתמש בנתונים למטרות מסחריות ולשנות אותם, אבל חובה לתת קרדיט ליוצר. בנוסף, תנאי השיתוף הזהה מחייב שכל יצירה נגזרת או מאגר שמתבסס עליו יופצו תחת אותו רישיון בדיוק, מה שעלול להגביל שילוב שלו במערכות קוד סגור.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון