told-br
קוד פתוחJAugusto97cc-by-sa-4.02022-03-02
ציוצים בפורטוגזית ברזילאית מתויגים לזיהוי שיח שנאה ורעילות ברשת. המאגר נותן מענה למחסור בנתונים כאלה ומציע תיוג לפי שש קטגוריות ספציפיות או סיווג בינארי.
- 490הורדות בחודש
- 21לייקים
מה זה
המאגר כולל ציוצים שנאספו מטוויטר במהלך 15 ימים באוגוסט 2019 דרך Gate Cloud. האיסוף התבסס על שתי שיטות: רשימת מילות מפתח שכוללת קללות וביטויי פגיעה, ואזכורים של החשבונות הנעקבים ביותר בברזיל. אזכורי משתמשים בציוצים הוחלפו בתג אנונימי כדי להגן על פרטיות.
התיוג נעשה בשיטת מיקור המונים על ידי 42 מתנדבים מתוך 129 מועמדים מאוניברסיטת סאו קרלוס, שנבחרו לפי גיוון דמוגרפי של מגדר, נטייה מינית, מוצא וגילאי 18 עד 37. כל ציוץ נבדק על ידי שלושה מתייגים שלא תקשרו ביניהם. התוצאה מוגשת בשתי גרסאות: גרסה רב תווית עם ספירת הצבעות מאפס עד שלוש עבור שש קטגוריות נפרדות, וגרסה בינארית של טקסט רעיל מול לא רעיל שמחולקת לסט אימון, סט אימות וסט בדיקה.
מתאים ל
- אימון מסווג בינארי
בניית מודל לזיהוי תוכן פוגעני או רעיל בפורטוגזית ברזילאית.
- מחקר והערכת הטיות
ניתוח תבניות של שש קטגוריות שנאה ורעילות בשיח רשת.
- בדיקת הסכמת מתייגים
חקר התפלגות הצבעות בין מתנדבים שונים על אותם טקסטים.
איפה זה נופל
היוצרים מזהירים מפני הטיה מובנית שנובעת מאיסוף מבוסס מילות מפתח מוגדרות מראש ורשימת משתמשים ספציפית. הטקסט כולו בפורטוגזית ברזילאית ומשקף סלנג מקומי מרשת חברתית בנקודת זמן אחת בשנת 2019, כך שאין כאן שום כיסוי לעברית או לניבים אחרים. בנוסף, קיים חוסר איזון חריג בהתפלגות המחלקות בגרסה הרב תווית, עד כדי כך שהמפתחים עצמם ממליצים לא לאמן עליה מודלים למוצר אלא להגביל את השימוש בה לניתוח ומחקר בלבד.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
הרישיון מאפשר שימוש מסחרי, אבל דורש ייחוס ליוצרים והפצה של כל נגזרת תחת רישיון זהה. הדרישה הזו עלולה לחייב פתיחה של תוצרי הפיתוח ולא מתאימה לכל מוצר קנייני.
האם הנתונים כוללים עברית?
לא. כל הציוצים נכתבו במקור בפורטוגזית של משתמשי טוויטר מברזיל, ואין במאגר שפות נוספות.
איך נאספו הציוצים?
האיסוף נמשך 15 ימים באוגוסט 2019 דרך שירות Gate Cloud. הוא התבסס על רשימה של מילות מפתח מעליבות ועל אזכורים של חשבונות הטוויטר הנעקבים ביותר במדינה.
האם כדאי לאמן מודל על הגרסה עם שש הקטגוריות?
היוצרים ממליצים שלא. קיים חוסר איזון קיצוני בנתונים הרב תוויים שמקשה על אימון מודל יציב, ולכן הם מציעים להשתמש בגרסה זו רק למחקר ולניתוח, ולהעדיף את הגרסה הבינארית לאימון.
איך טוענים
טוענים את הנתונים ישירות מספריית datasets באמצעות המזהה, והגישה פתוחה לחלוטין ללא צורך באישור. המאגר מכיל קובץ סקריפט להורדה ומציע שתי תצורות שונות. בגרסה הבינארית עובדים מול עמודת הטקסט ועמודת התווית שמכילה ערך אפס או אחת. בגרסה הרב תווית מקבלים את הטקסט לצד עמודות עבור הומופוביה, גסויות, עלבון, גזענות, מיזוגיניה וקסנופוביה, שבהן מופיע מספר המתייגים שהצביעו עבור אותה קטגוריה.
from datasets import load_dataset
ds = load_dataset("JAugusto97/told-br")הרישיון
הרישיון הוא CC BY-SA 4.0. מותר להשתמש בנתונים למטרות מחקר ואף לשימוש מסחרי, אך חובה לתת קרדיט מלא ליוצרים ולציין שינויים שנעשו. תנאי השיתוף הזהה מחייב להפיץ כל יצירה נגזרת תחת אותו רישיון בדיוק, דרישה שיכולה להגביל שילוב שלו במערכות קוד סגור.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון