tweets_hate_speech_detection
קוד פתוחtweets-hate-speech-detectiongpl-3.02022-03-02
מאגר שמסווג ציוצים בטוויטר כתוכן גזעני או סקסיסטי מול תוכן רגיל. הוא מציע תיוג בינארי פשוט למשימות סיווג טקסט, אבל מתבסס על הגדרה צרה של שיח שנאה.
- 918הורדות בחודש
- 18לייקים
מה זה
המאגר כולל ציוצים שנאספו ממשתמשי טוויטר באנגלית, ומטרתו לסווג אותם לשתי קטגוריות. כל רשומה כוללת את מחרוזת הטקסט של הציוץ עצמו ותווית מספרית פשוטה. התיוג מצומצם לשני מצבים בלבד, כאשר ערך של אחת מציין תוכן גזעני או סקסיסטי, וערך של אפס מסמן ציוץ ללא אלמנטים כאלה. הנתונים מתמקדים אך ורק בסוגי השיח הללו כהגדרה כוללת לשנאה.
חלק האימון מכיל 31,962 רשומות, וישנו גם קובץ בדיקה שמיועד להערכת ביצועים. לפי התיעוד, התיוג עבר עיבוד מקדים שבו מודל אומן כדי להקצות את התוויות לציוצים, ולא תהליך תיוג אנושי ידני מבוקר. המקור הראשוני מגיע ממאגר גיטהאב של רושאן שארמה שעסק בניתוח סנטימנט בציוצים.
מתאים ל
- סינון בוטים ושיח רעיל
אימון מסווגים בסיסיים לזיהוי ביטויים פוגעניים וגזעניים באנגלית ברשתות חברתיות.
- בנצ'מרק לסיווג טקסט
מבחן ביצועים מהיר וקל משקל למודלי עיבוד שפה קטנים על משימת תיוג בינארית.
- מחקר על הטיות סיווג
ניתוח האופן שבו מודלים מזהים תוכן סקסיסטי מול תוכן ניטרלי בציוצים קצרים.
איפה זה נופל
ההגדרה של שיח שנאה במאגר צרה מאוד וכוללת רק גזענות וסקסיזם, תוך התעלמות מביטויים אחרים כמו הומופוביה או אלימות מילולית כללית. השפה היא אנגלית בלבד, ואין שום כיסוי לעברית או לשיח מקומי. בנוסף, הכרטיס מצהיר שהתיוג נעשה בחלקו על ידי מודל ולא על ידי מתייגים אנושיים מומחים, מה שמייצר סיכון להטיות מובנות ולסיווגים שגויים. התיעוד דל ולא מפרט זמני איסוף מדויקים או התמודדות עם מידע רגיש.
שאלות
נפוצות
האם הדאטהסט מתאים לשימוש בעברית?
לא, המאגר מורכב כולו מציוצים באנגלית. הוא אינו כולל שום ייצוג לטקסט בעברית או לסלנג ישראלי, ולכן אינו מתאים לאימון מודלים מקומיים. מי שמחפש מידע בעברית יצטרך לאסוף נתונים ייעודיים ממקור אחר.
האם מותר להשתמש בו בפרויקט מסחרי סגור?
הרישיון המדווח הוא gpl-3.0, ולכן שימוש מסחרי בקוד סגור עלול להיות בעייתי ומסוכן משפטית. רישיון זה דורש לרוב שחרור של פיתוחי המשך תחת אותו הרישיון בדיוק. מומלץ להתייעץ משפטית או להעדיף מאגרים ברישוי מתירני כמו MIT או Apache.
איך תויגו הציוצים בפועל?
לפי הכרטיס, הנתונים עברו עיבוד מקדים שבו אומן מודל כדי להצמיד תוויות לכל ציוץ. לא מדובר בסימון ידני קפדני של בלשנים או מתייגים מרובים. כתוצאה מכך, יש לקחת בחשבון שהתוויות כוללות שגיאות ורעש שמודלים מייצרים.
מה הגודל של המאגר ואיך מקבלים אליו גישה?
המאגר כולל כ־32 אלף רשומות אימון בקובצי parquet ששוקלים מגה-בייטים בודדים בלבד. הגישה אליו פתוחה לגמרי ב־Hugging Face ואין צורך בהרשמה מיוחדת או באישור ידני. ההורדה והטעינה מתבצעות ישירות בשורת קוד אחת.
איך טוענים
המאגר זמין ישירות ללא צורך בהרשאה מוקדמת או באישור גישה. הוא מחולק לקובצי parquet פשוטים לאימון ולבדיקה, כך שהטעינה שלו מהירה ואינה דורשת משאבי זיכרון כבדים. בעבודה איתו יש רק שני שדות שצריך לחלץ, שדה הטקסט של הציוץ ושדה התווית המספרית. הטקסט כולל כבר תיוגים כמו כינויי משתמש שהוחלפו, ולכן לא נדרש ניקוי מורכב של שמות חשבונות לפני הרצה ראשונית.
from datasets import load_dataset
ds = load_dataset("tweets-hate-speech-detection/tweets_hate_speech_detection")הרישיון
המאגר מופץ תחת רישיון gpl-3.0. מדובר ברישיון קוד פתוח עם דרישת שיתוף זהה שמחייב חשיפת קוד במקרים מסוימים. הרישיון עשוי להגביל מוצרים מסחריים סגורים או לחייב הפצה של מודלים וקוד נגזר תחת אותו הרישיון בדיוק. אם המטרה היא לבנות כלי מסחרי קנייני, כדאי לבחון חלופות ברישוי מתירני יותר.