GPT
הוספת כלי
T

tweet-topic-21-multi

קוד פתוח

cardiffnlpmit2022-06-06

  • transformers
  • pytorch
  • tf
  • roberta
  • text-classification

סיווג נושאים לציוצים באנגלית עם תיוג מרובה. הוא אומן על ציוצים אמיתיים עד סוף 2021 כדי להבין סלנג וקיצורים בלי להסתבך.

  • 514טוקנים בהקשר
  • 954 MBמשקל הקבצים
  • 1,309הורדות בחודש
  • 69לייקים

מה זה

מי שמנסה לסווג טקסטים קצרים ורועשים מרשתות חברתיות יודע שמודלים כלליים נוטים להתרסק על קיצורים, סלנג ותחביר מרוסק. המודל הזה מבוסס על Roberta ואומן במקור על כ־124 מיליון ציוצים באנגלית בין 2018 ל־2021, ואז עבר כוונון ייעודי על עוד כ־11,267 ציוצים.

הוא יודע להחזיר תיוג מרובה מתוך 19 קטגוריות מוגדרות מראש, ממוזיקה וספורט ועד מדע, חדשות או חיי משפחה. זה אומר שציוץ אחד יכול לקבל בו זמנית גם תגית של חדשות וגם תגית של ספורט, בדיוק כמו שקורה בפועל ברשת.

מתאים ל

  • סינון פיד לרשת חברתית

    חלוקת ציוצים באנגלית לפי 19 נושאים מוגדרים, כולל שיוך לכמה קטגוריות במקביל.

  • ניתוח שיח למותגים

    מיון אזכורים לפי תחומים כמו גיימינג, עסקים או בידור כדי להבין את ההקשר.

  • ניקוי דאטהסטים

    סינון מהיר של טקסטים קצרים מטוויטר לפי נושאי עניין רלוונטיים למחקר.

איפה זה נופל

הוא מיועד לאנגלית בלבד. אם תזרקו עליו ציוצים בעברית, תקבלו ג'יבריש מוחלט בסיווג. בנוסף, חלון ההקשר עומד על 514 טוקנים, כך שהוא מתאים לטקסטים קצרים ולא למאמרים. עוד נקודה שצריך לזכור: הדאטה שלו נעצר בדצמבר 2021, מה שאומר שמושגים או סלנג חדשים שנולדו מאז פשוט לא קיימים בעולם שלו.

שאלות
נפוצות

הוא יכול לעבוד על טקסטים בעברית?

לא. המודל אומן אך ורק על ציוצים באנגלית. הוא לא יזהה נושאים בטקסט עברי והתוצאות יהיו חסרות משמעות.

האם אפשר להוסיף קטגוריות משלי?

המודל מגיע עם 19 תוויות מוגדרות מראש בלבד. אם אתם צריכים נושאים אחרים, תצטרכו לאמן ראש סיווג חדש על גבי שכבות הבסיס שלו.

איך מריצים

במשקל של פחות מג'יגה בייט אחד, אפשר להריץ אותו בקלות דרך ספריית transformers של פייתון. כל מעבד מודרני ממוצע יכול לסחוב אותו בלי להזיע, ואם יש לכם כרטיס מסך בסיסי הוא יעבד אלפי ציוצים בכמה שניות.

אם אתם רק בודקים רעיון או צריכים עיבוד של כמה עשרות טקסטים פעם ביום, חבל להחזיק שרת דלוק בשבילו. במקרה כזה עדיף לקרוא ל־API חיצוני, אבל לפרויקט עם דאטה שוטף ההרצה המקומית זולה ופשוטה להפליא.

from transformers import pipeline

pipe = pipeline("text-classification", model="cardiffnlp/tweet-topic-21-multi")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 954 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

רישיון MIT חופשי לחלוטין. מותר להשתמש בו במוצרים מסחריים, לשנות את הקוד ולהפיץ אותו חופשי, בלי תמלוגים ובלי חובת קוד פתוח. התנאי היחיד הוא לשמור על הודעת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗