distilbert-base-uncased-go-emotions-student
קוד פתוחjoeddavmit2022-03-02
זיקוק של סיווג אפס דגימות לתוך ארכיטקטורה קלה לזיהוי רגשות באנגלית. מתאים למי שחייב מודל קטן ומהיר ולא רוצה לשלם על מודל שפה כבד.
- 67Mפרמטרים
- 512טוקנים בהקשר
- 767 MBמשקל הקבצים
- 1,992הורדות בחודש
מה זה
מדובר במודל שמבוסס על DistilBert עם 67 מיליון פרמטרים, שתפקידו לסווג טקסטים לפי רגשות מתוך מאגר GoEmotions. הייחוד שלו הוא בשיטת האימון. הוא לא ראה תיוגים אנושיים אלא אומן בשיטת מורה תלמיד, כשהמורה היה פייפליין כבד של סיווג אפס דגימות מבוסס NLI שייצר תוויות מדומות על דאטה לא מתויג, והתלמיד אומן במשך 10 תקופות בחישוב נקודה צפה מעורבת.
בפועל הוא נותן חלופה קלה ומהירה להסקת מסקנות מקומית בלי לגרור מודלים ענקיים. המטרה המוצהרת של היוצר היתה הדגמה של זיקוק ידע מדאטה גולמי, כך שהוא מספק נקודת מוצא טובה לפרויקטים שצריכים מיון רגשי באנגלית פשוטה.
מתאים ל
- סינון מהיר של פידבקים
זיהוי תגובות שליליות או חיוביות באנגלית בצד השרת שלכם בלי לשלוח מידע החוצה.
- הדגמת זיקוק ידע
בסיס לבדיקת שיטות אימון של מודלים קטנים על בסיס תוויות מדומות ממודל מורה.
- סיווג תגובות בפורומים
מיון טקסטים קצרים לפי רגש בסיסי אחד ברמת משאבים מינימלית על השרת.
איפה זה נופל
היוצר מציין במפורש שהמודל כנראה לא יגיע לרמת הביצועים של מודל שאומן ישירות על דאטה מתויג במלואו. חיסרון משמעותי נוסף מגיע מאימון המורה, שבחר רק תווית בודדת לכל דוגמה, למרות שדאטה סט המקור של GoEmotions תומך בכמה רגשות במקביל. הוא מוגבל ל־512 טוקנים, תומך באנגלית בלבד, ואינו מתאים לטקסטים בעברית.
שאלות
נפוצות
האם הוא יודע לזהות כמה רגשות באותו משפט?
לא באופן אמין. המורה שלו אילץ סיווג של תווית יחידה בזמן יצירת התוויות המדומות, ולכן הוא מאומן להוציא רגש עיקרי אחד בלבד.
האם אפשר להריץ אותו על טקסטים בעברית?
לא. המודל מתבסס על גרסה אנגלית בלבד ולא מכיר את השפה העברית, כך שתקבלו תוצאות שגויות לחלוטין.
איך מריצים
טוענים אותו ישירות דרך ספריית transformers בפייתון לפייפליין של text-classification. שוקל 767 מגה בייט, כך שהוא ירוץ בלי בעיה גם על מעבד רגיל במחשב פיתוח פשוט, בלי לחפש כרטיס מסך מיוחד או שרתים ייעודיים.
אם אתם צריכים לסווג כמויות גדולות של טקסטים קצרים באנגלית ורוצים לשמור על עלויות תשתית אפסיות ופרטיות מלאה, שווה להרים אותו לבד. אם אתם צריכים דיוק גבוה בהרבה או תמיכה בעברית, עדיף להשתמש ב־API חיצוני של מודל כללי.
from transformers import pipeline
pipe = pipeline("text-classification", model="joeddav/distilbert-base-uncased-go-emotions-student")
print(pipe("שלום"))הקבצים
9 קבצים במאגר, 767 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
רישיון MIT פתוח ומתירני לחלוטין. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו או להטמיע אותו במוצר סגור, כל עוד שומרים על הודעת זכויות היוצרים המקורית.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש