wisesight_sentiment
קוד פתוחpythainlpcc0-1.02022-03-02
המאגר מרכז 26,737 פוסטים ותגובות ברשת בתאית עם תיוג רגש אנושי לארבע קטגוריות. הוא מתאים למי שבונה מודלי סיווג טקסט בתאית מדוברת ומחפש בנצ׳מרק פתוח לשימוש מלא.
- 1,174הורדות בחודש
- 15לייקים
מה זה
הנתונים מורכבים מהודעות קצרות מתאילנד, בעיקר סביב מוצרי צריכה, מסעדות, מלונות, רכב וקצת אקטואליה. הטקסטים נאספו בין 2016 לתחילת 2019 מאתרים ציבוריים ומתגובות בעמודי פייסבוק פתוחים. הם משקפים שפה לא רשמית, כולל שגיאות כתיב, אימוג׳ים, כותרות חדשות ופרסומות, כאשר הודעות מעל 2,000 תווים או כפילויות מדויקות נוקו החוצה.
התיוג נעשה ידנית על ידי מתייגים חיצוניים שנשכרו בידי חברת Wisesight, שחילקו את הטקסטים לארבע מחלקות: חיובי, ניטרלי, שלילי, ושאלות. שאלות שמביעות עניין במוצר סווגו כחיוביות, והשוואה שמעדיפה מתחרה תויגה כשלילית.
החלוקה המובנית כוללת 21,628 דוגמאות באימון, 2,404 באימות ו־2,671 בבדיקה. יש פה חוסר איזון קיצוני. ניטרלי תופס יותר מחצי מכל קבוצה, חיובי ושלילי באמצע, וקטגוריית השאלות זניחה עם כמה עשרות דוגמאות בלבד בבדיקה.
מתאים ל
- אימון מודל רגש בתאית
התאמת מודלי שפה לסיווג פוסטים ושיחות צרכניות ברשתות חברתיות בתאית מדוברת.
- בנצ׳מרק לסיווג טקסט
מדידת ביצועים מול Leaderboard מוכר בתחום ה־NLP לתאית באמצעות חלוקת הבדיקה הקיימת.
- סינון תגובות גולשים
זיהוי תלונות לקוחות, ביקורות רעות או הבעת עניין במוצרים בעמודי מותג ציבוריים.
איפה זה נופל
הטקסט כולו בתאית מרכזית ולא רלוונטי לשפות אחרות. חוסר האיזון במחלקות חריף, מה שיקשה מאוד על זיהוי שאלות. בנוסף, המתייגים ראו לפעמים תמונות מקור שלא צורפו למאגר ונאלצו לנחש הקשר, כך שיש תיוגים שתלושים מהטקסט היבש. שגיאות הכתיב שנשמרו בכוונה מקשות מאוד על חלוקה למילים בתאית, שפה שנכתבת ללא רווחים בין מילים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. הרישיון המדווח הוא CC0 1.0 שמציב את המידע ברשות הציבור ומאפשר שימוש מסחרי ללא מגבלות ייחוס. עם זאת, יוצרי המאגר מציינים שזכויות התוכן של ההודעות הבודדות שייכות לכותבים ברשתות.
האם הדאטהסט כולל עברית או שפות נוספות מלבד תאית?
לא. המאגר מכיל תאית בלבד, בעיקר תאית מרכזית שנאספה ממשתמשים מקומיים. טקסטים ארוכים בשפות אחרות הוסרו במהלך הסינון הראשוני.
איך הדאטה נאסף והאם יש בו פרטים אישיים?
הטקסטים נאספו מפלטפורמות ציבוריות, אתרים ותגובות פתוחות בפייסבוק בין 2016 ל־2019. המפרסמים ביצעו התממה ידנית וטכנית שכללה מחיקת שמות משתמש והסתרת מספרי טלפון, אך הם מזהירים שייתכן ופרטים מסוימים חמקו מהסינון.
איך טוענים
טוענים את המאגר ישירות מספרית datasets דרך שמו pythainlp/wisesight_sentiment ללא צורך בהרשאות גישה או מפתחות. הקבצים שמורים בפורמט Parquet בחלוקה מוכנה ל־train, validation ו־test. המבנה מינימלי וכולל שני שדות בלבד: texts שמכיל את המחרוזת בתאית, ו־category שמחזיר ערך מספרי מ־0 עד 3 או את התגית הטקסטואלית המתאימה.
from datasets import load_dataset
ds = load_dataset("pythainlp/wisesight_sentiment")הרישיון
המאגר מוגדר תחת רישיון נחלת הכלל CC0 1.0 Universal. התוויות והמאגר חופשיים לכל שימוש, כולל אימון מודלים מסחריים, ללא חובת ייחוס וללא דרישה לשתף תוצרי המשך תחת אותו רישיון. יוצרי המאגר מציינים כי זכויות היוצרים על תוכן ההודעות המקורי עצמו עשויות להיות שייכות לכותבים המקוריים ברשת.