emotions-dataset
קוד פתוחboltuixmit2025-05-24
המאגר כולל 131,306 משפטים באנגלית שמתוייגים לפי 13 רגשות שונים. הוא מתאים למי שרוצה לאמן מסווג רגשות קל משקל בלי להסתבך עם עשרות קטגוריות צרות מדי.
- 264הורדות בחודש
- 49לייקים
מה זה
כל רשומה במאגר מורכבת משני שדות טקסט בלבד, המשפט עצמו ותגית הרגש שמשויכת אליו. אורך המשפטים הממוצע עומד על כארבע עשרה מילים, ללא שדות מטא נוספים, ללא מזהי משתמשים וללא ערכים חסרים. החלוקה הפנימית לא כוללת פיצול מובנה לסט אימון, ולידציה ובדיקה, כך שצריך לחלק את הדגימות לבד לפני שמתחילים לעבוד.
לפי התיעוד, הטקסטים מגיעים משילוב של תוכן גולשים, מחקרים פסיכולוגיים ומאגרי ניתוח סנטימנט פתוחים. התיוג מוגדר כעבודת מומחים שבחנה עומק רגשי, אך המפרסם אינו מפרט מי היו המומחים, באילו כלים הם תייגו או מה היו הנחיות העבודה המדויקות. אין במאגר חלוקה מראש לקבצים נפרדים, והכול מוגש כקובץ יחיד.
התפלגות התוויות אינה מאוזנת. הקטגוריה הגדולה ביותר היא שמחה עם 31,205 משפטים שמהווים כמעט רבע מכלל הנתונים, ואחריה עצב וניטרלי. בצד הנמוך של הסקאלה נמצאים רגשות כמו סרקזם ותשוקה עם כאלפיים וחמש מאות מופעים בלבד לכל אחד, מה שדורש התייחסות מיוחדת בעת שקלול פונקציית המחיר באימון.
מתאים ל
- סיווג פניות תמיכה
זיהוי כעס או בלבול בהודעות לקוחות לצורך ניתוב אוטומטי של כרטיסים דחופים.
- ניתוח תגובות ברשת
מעקב אחר סנטימנט מורכב הכולל גועל, הפתעה או שמחה בפוסטים באנגלית.
- בקרת שיחה לצ'אטבוט
התאמת הטון של מודל שיחה בהתאם לזיהוי תחושות עצב, פחד או אשמה אצל המשתמש.
איפה זה נופל
הטקסט כולו באנגלית בלבד ואין בו שום תמיכה בעברית. הבעיה העיקרית היא חוסר השקיפות סביב מקורות המידע. הכרטיס מציין שנאסף תוכן רשת ומחקרים, אך לא מספק קישורים, לא חושף את שיטת הדגימה ולא מציג מדד הסכמה בין מתייגים. בנוסף, הכרטיס מודה בגלוי כי כמות המשפטים הכפולים והייחודיים במאגר טרם חושבה. חוסר האיזון הקיצוני בין שמחה לבין סרקזם או אשמה יכשיל מודל שלא יקבל התאמת משקלים, והבדיקה שהוצגה בכרטיס כללה מדגם זעיר של עשרה משפטים בלבד.
שאלות
נפוצות
האם המאגר מתאים לשימוש מסחרי?
כן, רישיון MIT מתיר שימוש מסחרי מלא ללא תשלום תמלוגים. אתם יכולים לאמן עליו מודלים ולשלב אותם במערכות פנימיות או במוצרים שנמכרים ללקוחות, בתנאי שתצרפו את עותק הרישיון המקורי.
האם יש במאגר משפטים בעברית?
לא, המאגר כולל טקסטים באנגלית בלבד. אם תרצו להשתמש בו למוצר בעברית, תצטרכו לתרגם את המשפטים בעצמכם או לבצע התאמה למאגר אחר, תוך בדיקה שהתרגום שומר על הדקויות הרגשיות.
כמה שטח אחסון וזיכרון נדרשים להרצה?
הקובץ כולו שוקל 7.41 מגה בייט בפורמט פרקט, כך שהוא כמעט אינו תופס מקום על הדיסק. אפשר לטעון את כל 131,306 הרשומות לתוך זיכרון ה־RAM של כל מחשב פיתוח רגיל בתוך שניות בודדות.
במה הוא נבדל ממאגרים כמו GoEmotions?
הוא קומפקטי ופשוט יותר ליישום בזכות מבנה של שני טורים בלבד ו־13 רגשות רחבים יחסית, לעומת 27 הרגשות של גוגל. מצד שני, GoEmotions שקוף בהרבה לגבי מקורות המידע והמתייגים, בעוד כאן המקור המדויק אינו מפורט.
איך טוענים
טוענים את הקובץ ישירות באמצעות ספריית פנדס או דרך huggingface datasets על ידי קריאה לקובץ emotions_dataset.parquet. המאגר פתוח לציבור ללא צורך בהרשמה מיוחדת או באישור גישה. המשקל של הקובץ עומד על 7.41 מגה בייט בלבד, כך שהוא נטען בתוך שניות ספורות גם בסביבת עבודה מקומית וצנועה. שני השדות היחידים לעיבוד הם Sentence שמכיל את הטקסט, ו־Label שמחזיק את שם הרגש כמחרוזת שצריך לקודד למספרים.
from datasets import load_dataset
ds = load_dataset("boltuix/emotions-dataset")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש מסחרי, שינוי, הפצה ושילוב במוצרים סגורים, ללא חובת שיתוף באותו רישיון. החובה היחידה היא שמירת הודעת זכויות היוצרים והרישיון המקורי בקוד או בתוכנה. ניתן לאמן על הנתונים מודלים ולהשתמש במשקלים שלהם לצרכים מסחריים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש