robertuito-sentiment-analysis
קוד פתוחpysentimientoרישיון לא דווח2022-03-02
זה מודל קטן לניתוח סנטימנט בספרדית שנבנה במיוחד לטוויטר. הוא מתאים למי שחייב לסווג כמויות של פוסטים קצרים ומחפש דיוק בדיאלקטים שונים בלי לבזבז זיכרון.
- 109Mפרמטרים
- 130טוקנים בהקשר
- 1.2 GBמשקל הקבצים
- 1,119,227הורדות בחודש
מה זה
מדובר במודל סיווג שמחזיר אחת משלוש תוצאות, חיובי, שלילי או ניטרלי, יחד עם ההסתברות לכל תגית. הבסיס שלו אומן על ציוצים בספרדית, ואת כוונון הסנטימנט ביצעו על קורפוס TASS 2020 שמכיל כחמשת אלפים ציוצים בדיאלקטים שונים של השפה.
בבדיקות הביצועים מול חלופות מוכרות בספרדית כמו BETO או גרסאות RoBERTa כלליות, הוא עוקף אותן במשימת הסנטימנט עם ציון מאקרו F1 של 0.705 לעומת אזור ה־0.65 עד 0.67 אצל האחרים. הפער הזה נובע מזה שהוא מכיר סלנג, קיצורים ומבנה משפטים של רשתות חברתיות, תחום שבו מודלים שאומנו על טקסטים רשמיים נוטים לפספס.
מתאים ל
- ניטור שיח ברשתות
סיווג תגובות ופוסטים בספרדית בזמן אמת, תחום שבו המודל מותאם לסלנג ולטקסטים קצרים.
- מיון פניות תמיכה קצרות
זיהוי משתמשים כועסים בהודעות צ'אט קצרות בספרדית לצורך תעדוף מהיר בלי דרישות חומרה כבדות.
- מחקר אקדמי על דיאלקטים
ניתוח מגמות סנטימנט באזורים שונים של אמריקה הלטינית וספרד בזכות בסיס הנתונים של TASS 2020.
איפה זה נופל
הבעיה המרכזית פה היא חלון הקשר של 130 טוקנים בלבד. אי אפשר לנתח איתו ביקורות מוצר ארוכות, כתבות עיתונות או מיילים, כי טקסט ארוך פשוט ייחתך וייאבד משמעות. בנוסף, האימון הסתמך על חמשת אלפים דוגמאות בלבד, מדגם קטן יחסית שעלול לזייף מול תחומים מקצועיים או שפה שאינה ציוצים.
שאלות
נפוצות
האם המודל תומך בעברית או באנגלית?
לא. המודל אומן אך ורק על ספרדית ובדיאלקטים שלה. ניסיון להזין לו עברית יחזיר תוצאות חסרות משמעות.
האם חייבים להשתמש בספריית pysentimiento כדי להריץ אותו?
הספרייה היא הדרך הפשוטה ביותר, אך מכיוון שמדובר בארכיטקטורת RobertaForSequenceClassification רגילה, אפשר לטעון אותו גם דרך transformers של Hugging Face.
איך מריצים
המשקל הכולל של הקבצים הוא 1.2 גיגה בייט עם כ־109 מיליון פרמטרים בדיוק float32, מה שאומר שהוא ירוץ בלי בעיה על מעבד רגיל בכל שרת פשוט, בלי שום צורך בכרטיס מסך ייעודי.
מריצים אותו ישירות בעזרת הספרייה pysentimiento בכמה שורות פייתון. בגלל שהוא כל כך קל, אין סיבה אמיתית לשלם ל־API חיצוני או להסתמך על ספק ענן, אלא אם אתם מנתחים מיליוני רשומות בדקה וצריכים תשתית שמבצעת אופטימיזציות מקביליות מראש.
pip install -U huggingface_hub hf download pysentimiento/robertuito-sentiment-analysis
הקבצים
11 קבצים במאגר, 1.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
היוצרים לא דיווחו על רישיון בעמוד המודל. מבחינה משפטית זה אומר שאין לכם היתר מפורש להשתמש בו במוצר מסחרי, ועד שהם לא יגדירו רישיון פתוח רשמי, שילוב שלו במערכת של חברה כרוך בסיכון של הפרת זכויות יוצרים.