mteb/emotion

מה זה

המאגר מכיל הודעות טקסט שנלקחו מרשת טוויטר, כשהמטרה שלו היא סיווג רגשות מתוך כתיבה חברתית יומיומית. כל רשומה מייצגת ציוץ קצר שתויג תחת אחת משש קטגוריות רגש מוגדרות: כעס, פחד, שמחה, אהבה, עצב והפתעה. המקור האקדמי של הנתונים מפנה למאמר מועידת ACL משנת 2018, והכרטיס הנוכחי נוצר כחלק ממיזם מדד ההטמעות הגדול, שכולל עיבודים נוספים על המקור.

מבחינת מבנה הקבצים, הנתונים מחולקים לשלושה חלקים סטנדרטיים של אימון, אימות ובחינה. המאגר כולל תשעה קבצים בסך הכל, וכל פיצול זמין גם בפורמט פרקט מודרני וגם כקובצי טקסט מבוססי שורות. החלוקה הזו מאפשרת להריץ מבדקים מובנים בלי להתעסק בחיתוך ידני של הנתונים, כאשר תהליך הבנייה מתועד בקוד הייצור שנכלל במאגר.

מתאים ל

• הערכת מודלי שיכוך

  הרצת בדיקות השוואתיות של מודלי שפה על משימת סיווג רגשות מתוך טקסטים קצרים.

• אימון מסווג רגשות בסיסי

  בניית מודל לזיהוי שש רגשות מוגדרים מראש עבור תוכן באנגלית מרשתות חברתיות.

• מחקר על שפת רשת

  ניתוח דפוסי הבעת רגש וסלנג בציוצים קצרים לצורכי מחקר אקדמי.

איפה זה נופל

הנתונים מגיעים אך ורק מטוויטר ומבוססים על אנגלית, כך שאין כאן שום ייצוג לעברית או לסגנון כתיבה מקומי. מעבר לזה, השפה של ציוצים כוללת סלנג, קיצורים ומבנה משפטים שלא מתאים לטקסטים ארוכים, מסמכים רשמיים או שיחות תמיכה. המקור מגיע ממחקר שפורסם ב־2018, מה שאומר שהשיח והסלנג משקפים תקופה ישנה יחסית ולא את השפה הנוכחית ברשתות.

איך טוענים

הטעינה מתבצעת ישירות דרך חבילת הפייתון של הפרויקט עם הגדרת המשימה הרלוונטית, או בקריאה רגילה לקובצי הנתונים שנמצאים במאגר. אין צורך בבקשת גישה מיוחדת או באישור ידני, והקבצים זמינים להורדה מיידית בפורמט פרקט או שורות ג'ייסון. המאגר עצמו קומפקטי מאוד וכולל בסך הכל תשעה קבצים, כך שהוא לא דורש משאבי אחסון חריגים או זמן הורדה משמעותי.

from datasets import load_dataset

ds = load_dataset("mteb/emotion")

הרישיון

הרישיון של המאגר מוגדר כלא ידוע. בפועל זה אומר שאין לכם שום אישור משפטי להשתמש בנתונים האלה למוצר מסחרי, לאימון מודלים סגורים או להפצה. כל עוד היוצרים לא הגדירו רישיון ברור, שימוש כזה חושף אתכם לתביעות זכויות יוצרים, ולכן המאגר מתאים אך ורק לצורכי מחקר, השוואת ביצועים פנימית ובדיקות במעבדה.

הרישיון המלא ב־Hugging Face ↗