super_tweeteval
קוד פתוחcardiffnlpunknown2023-05-16
המאגר מאגד 12 משימות שונות לניתוח טקסט מטוויטר תחת מבנה אחיד. הוא מתאים למי שרוצה לבדוק יכולות של מודלי שפה על שפה לא רשמית, סלנג ואימוג'ים באנגלית.
- 1,283הורדות בחודש
- 15לייקים
מה זה
המאגר מכיל ציוצים שנאספו לתוך 12 משימות נפרדות, שמכסות סיווג נושאים, זיהוי ישויות (NER), שאלות ותשובות, חיזוי אימוג'ים, ניתוח רגשות, זיהוי שינויי משמעות של מילים לאורך זמן ושיח שטנה. כל משימה מגיעה מתוך מחקר קודם נפרד, כמו SemEval או TempoWiC, וחלקן דורשות סיווג בינארי, רגרסיה של ציונים רציפים או יצירת טקסט חופשי.
המבנה של הרשומות תלוי במשימה הספציפית, אך כולן כוללות שדה טקסט בסיסי. משימות מסוימות מוסיפות הקשר, טוקניזציה מובנית, תאריכי פרסום, או זוגות של טקסטים להשוואה כמו במשימת הדמיון בין ציוצים. בחלק מהמשימות יש כמה מאות דוגמאות בודדות לאימון, כמו במשימת הדמיון עם 450 רשומות, ובאחרות יש עשרות אלפים, כאשר חיזוי אימוג'י מגיע ל־50,000 דוגמאות אימון.
מתאים ל
- הערכת עמידות של מודלים
בדיקת ביצועים על סלנג, שגיאות כתיב וטקסט לא ערוך ברשתות חברתיות.
- אימון מסווגי שיח שטנה
זיהוי תכנים פוגעניים מבוססי גזע, מגדר או דת מתוך ציוצים באנגלית.
- ניתוח סנטימנט ואינטימיות
הערכת עוצמת רגשות ורמת חשיפה אישית בפוסטים קצרים.
איפה זה נופל
כל הנתונים מבוססים על אנגלית בלבד ומגיעים כולם מטוויטר, מה שאומר שהם סובלים מקיצורים, שגיאות הקלדה ומבנה תחבירי מקוטע. הכרטיס אינו מפרט הטיות דמוגרפיות של המשתמשים או תהליכי סינון רעשים שבוצעו על המקורות. אם אתם בונים שירות שמיועד לעברית או לטקסט עסקי רשמי, המאגר הזה פשוט לא רלוונטי עבורכם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ בכלל. הרישיון בדף המאגר מוגדר כלא ידוע, והנתונים מבוססים על ציוצים של טוויטר שכוללים מגבלות שימוש משלהם. ללא הבהרה משפטית מהיוצרים, אסור להניח שמותר להשתמש בזה למטרות רווח.
האם המאגר כולל ציוצים בעברית?
לא, המאגר כולו באנגלית בלבד. אם המערכת שלכם צריכה לנתח טקסט ישראלי או שפה מקומית, הנתונים כאן לא יעזרו לכם.
כמה רשומות יש בסך הכל?
המאגר מפוצל ל־12 משימות בגדלים שונים. יש משימות קטנות של מאות בודדות כמו דמיון בין ציוצים, ומשימות גדולות שמגיעות עד 50,000 דוגמאות אימון כמו חיזוי אימוג'ים.
איך טוענים
המאגר מחולק לקבצי JSONL נפרדים לכל משימה, ומכיל 72 קבצים סך הכל יחד עם קובצי מיפוי. אין צורך בבקשת גישה מיוחדת כדי להוריד את הנתונים, והטעינה מתבצעת ישירות דרך הספרייה הרגילה של Hugging Face תוך ציון תת-המאגר הרצוי. חשוב לשים לב לשמות השדות בכל תת-משימה, כי הם אינם אחידים: משימות טקסט יחיד משתמשות ב־text, בעוד משימות השוואה משתמשות ב־text_1 ו־text_2, ותוויות המטרה נעות בין מספרי מחלקה למחרוזות טקסט מלאות.
from datasets import load_dataset
ds = load_dataset("cardiffnlp/super_tweeteval")הרישיון
הרישיון מוגדר כלא ידוע. בפועל זה אומר שאי אפשר לדעת אם מותר להשתמש בנתונים למוצר מסחרי, לאמן מודלים סגורים או להפיץ נגזרות. כל עוד CardiffNLP לא מפרסמים רישיון מפורש, שימוש במאגר מחוץ למחקר אקדמי חושף אתכם לסיכון משפטי ישיר מול תנאי השימוש המקוריים של טוויטר.