BRIGHTER-emotion-categories
קוד פתוחbrighter-datasetcc-by-4.02025-03-13
מאגר סיווג רגשות אנושי בטקסטים שמכסה 28 שפות, כולל שפות עם מעט מאוד משאבים. הוא מציע תיוג אנושי רב תוויות לשש קטגוריות רגש בסיסיות במקום להסתמך רק על אנגלית.
- 1,209הורדות בחודש
- 18לייקים
מה זה
המאגר כולל 139,583 רשומות שמחולקות לפי קונפיגורציות שפה שונות. הטקסטים נאספו ממקורות שונים ותויגו בידי בני אדם לשש קטגוריות רגש: כעס, גועל, פחד, שמחה, עצב והפתעה. כל רשומה כוללת מזהה ייחודי, את הטקסט עצמו, עמודות בינאריות עבור כל אחד מששת הרגשות, ורשימה מרוכזת של הרגשות שקיימים בטקסט.
הנתונים מחולקים לסטים של אימון, פיתוח ומבחן עבור 28 שפות, ביניהן אנגלית, גרמנית, ערבית אלג'יראית ומרוקאית, הינדית, רוסית, וכן שפות אפריקאיות כמו יורובה, האוסה, איגבו וסוואהילי. החלוקה הפנימית משתנה בין השפות, כאשר ברובן יש כמה אלפי דוגמאות אימון, אך ישנן שפות שבהן המבנה שונה לחלוטין.
מתאים ל
- סיווג רגשות רב תוויות
אימון ובדיקה של מודלים לזיהוי שש קטגוריות רגש שונות בטקסט אחד ביותר מעשרים שפות.
- הערכת מודלים בשפות מועטות משאבים
בנצ'מרק מדויק על נתוני מבחן אנושיים בשפות כמו איגבו, האוסה, סוואהילי ורואנדה.
- הערכת יכולות אפס דוגמאות
בדיקת ביצועי מודלים על שפות כמו אינדונזית וזולו, שבהן יש רק סטים למבחן וללא אימון.
איפה זה נופל
עברית לא קיימת כאן בכלל, כך שלמוצרים מקומיים המאגר לא יעזור ישירות. בנוסף, בארבע שפות אינדונזית, ג'אוונית, קוסה וזולו אין דוגמאות אימון כלל, ויש בהן רק סטים של בדיקה ופיתוח. נפח הנתונים לכל שפה קטן יחסית ולא עובר כמה אלפי דוגמאות, מה שמגביל אימון של מודלים מאפס ומתאים בעיקר לכוונון עדין או הערכה. הכרטיס גם לא מפרט מאילו מקורות בדיוק נאספו הטקסטים או את שיטת הסינון שלהם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. רישיון cc-by-4.0 מתיר שימוש מסחרי מלא, כולל אימון מודלים שישולבו במוצרים מסחריים. הדרישה היחידה היא מתן קרדיט ברור למחברים לפי תנאי הרישיון.
האם המאגר כולל טקסטים בעברית?
לא. המאגר מכיל 28 שפות, ביניהן שני ניבים של ערבית, אך עברית אינה נכללת ברשימה.
האם אפשר לאמן מודל על כל השפות ברשימה?
לא על כולן. בשפות אינדונזית, ג'אוונית, קוסה וזולו יש 0 דוגמאות בסט האימון. השפות האלה מיועדות רק להערכה ובדיקה.
מה הפורמט שבו מגיעים הנתונים וכמה הם שוקלים?
המאגר שמור ב־82 קובצי Parquet המחולקים לפי שפות וספליטים. מדובר בטקסט בלבד בהיקף של כ־140 אלף רשומות קצרות, כך שנפח ההורדה הכולל קל מאוד.
איך טוענים
טוענים את המאגר ישירות דרך ספריית datasets באמצעות ציון המזהה וקוד השפה המבוקש, למשל eng לאנגלית. המאגר מאוחסן בקובצי Parquet, הוא ציבורי ואינו דורש אישור גישה מראש. השדות המרכזיים לעבודה הם text עבור התוכן, ועמודות הרגשות הבינאריות לצורך אימון מודל סיווג רב תוויות.
from datasets import load_dataset
ds = load_dataset("brighter-dataset/BRIGHTER-emotion-categories")הרישיון
המאגר מופץ ברישיון cc-by-4.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה של הנתונים, וכן אימון מודלים עליהם, בתנאי שניתן קרדיט מתאים ליוצרים ומצוין אם בוצעו שינויים. אין חובה לשתף נגזרות תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס