sentiment140
קוד פתוחstanfordnlpרישיון לא דווח2022-03-02
מיליון ושש מאות אלף ציוצים באנגלית שתויגו אוטומטית לפי אימוג'י טקסטואלי. מתאים למי שרוצה לאמן מודל סנטימנט בסיסי על שפת רשת בלי להשקיע בתיוג ידני יקר.
- 2,379הורדות בחודש
- 29לייקים
מה זה
המאגר כולל מיליון ושש מאות אלף ציוצים באנגלית שנאספו מהממשק של טוויטר בסביבות השנים 2009 ו־2010. החוקרים סיננו את הטקסטים כך שציוצים שהכילו סמיילי חיובי תויגו כחיוביים, וציוצים עם סמיילי שלילי תויגו כשליליים, כאשר ציוצים שהכילו את שני הסוגים נזרקו החוצה. שמות משתמשים וכתובות אינטרנט הוחלפו במחרוזות אחידות כדי לנקות רעש, אך שדה המשתמש המקורי עדיין מופיע ברשומה לצד תאריך הפרסום, מילת החיפוש והטקסט הגולמי.
החלוקה הפנימית חדה מאוד. סט האימון מכיל את כל 1,600,000 הציוצים שתויגו בצורה אוטומטית, ואילו סט הבדיקה כולל 498 ציוצים בלבד שתויגו ידנית על ידי החוקרים מסטנפורד לצורך הערכת ביצועים.
מתאים ל
- אימון בסיס לסנטימנט ברשת
אימון ראשוני של מסווג לזיהוי רגש חיובי ושלילי באנגלית על טקסט קצר.
- בנצ'מרק למודלי שפה קלים
בדיקת דיוק ומדד F1 של מודלים מול סט הבדיקה המוכר במחקר.
- ניסויי למידה עם רעש
בחינת אלגוריתמים שיודעים להתמודד עם תוויות לא מדויקות שנוצרו ללא אדם.
איפה זה נופל
התיוג האוטומטי רועש במיוחד. הוא מתעלם לחלוטין מאירוניה או סרקזם, ומתבסס רק על מי שבחר לכתוב סמיילי בסוף משפט. מעבר לכך, סט האימון מכיל רק דוגמאות חיוביות ושליליות, בלי אף דוגמה ניטרלית, בעוד שהערך הניטרלי מופיע אך ורק בסט הבדיקה הקטנטן שמכיל 498 דוגמאות בלבד. הדאטהסט כולו באנגלית ונאסף לפני יותר מעשור, כך שסלנג עכשווי, קיצורים חדשים או שיח ישראלי בעברית פשוט לא קיימים כאן. לא הייתי בונה על זה מערכת שמנתחת רשתות חברתיות היום בלי אימות מקיף.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה במוצר מסחרי?
היוצרים שחררו אותו למטרות מחקר בלבד ולא ציינו רישיון קוד פתוח מתאים למסחר. בנוסף, הטקסטים הם ציוצים מקוריים שכפופים למדיניות המפתחים של טוויטר. לא כדאי להשתמש בו למוצר מסחרי.
כמה מקום צריך לפנות בדיסק כדי לעבוד איתו?
הקובץ המכווץ להורדה שוקל 81.36 מגה בייט בלבד. אחרי פריסה ויצירת הנתונים המלאה הוא דורש 225.82 מגה בייט, ובסך הכל פחות מ־310 מגה בייט בדיסק.
האם יש בו תמיכה בעברית?
לא. כל 1.6 מיליון הציוצים במאגר נאספו באנגלית בלבד. אם המטרה היא ניתוח שיח מקומי בישראל, תצטרכו לאסוף או לחפש מקור אחר לחלוטין.
איך תויגו הציוצים בפועל?
באימון לא נגעו בני אדם. החוקרים חיפשו ציוצים שמכילים סמיילי שמח או עצוב, והשתמשו בהם כתווית אוטומטית. רק סט הבדיקה שמכיל 498 ציוצים תויג ידנית.
איך טוענים
טוענים את הדאטהסט ישירות דרך הספרייה הרגילה ללא צורך בהרשמה מיוחדת או אישור גישה. קובץ ההורדה שוקל 81.36 מגה בייט, ובפריסה מלאה על הדיסק הוא תופס 225.82 מגה בייט, כך שכל מחשב פיתוח מודרני מחזיק אותו בזיכרון בלי שום מאמץ. השדות המרכזיים לעבודה הם text עבור תוכן הציוץ ו־sentiment עבור התווית, כאשר 0 מייצג סנטימנט שלילי ו־4 מייצג חיובי.
from datasets import load_dataset
ds = load_dataset("stanfordnlp/sentiment140")הרישיון
החוקרים שחררו את המאגר לשימוש מחקרי חופשי, אך לא הצמידו לו רישיון קוד פתוח מוכר. מעבר לכך, התוכן שייך למשתמשי טוויטר וכפוף למדיניות הפלטפורמה. המשמעות ברורה: שימוש מסחרי ישיר במוצר או שילוב שלו במודל עסקי מייצר חשיפה משפטית, ואי אפשר להסתמך עליו כבסיס מותר למסחר בלי בדיקה של תנאי טוויטר.