tweet_sentiment_extraction

מה זה

המאגר מבוסס על נתוני תחרות Tweet Sentiment Extraction של קגל, ועבר התאמה לתוך בנצ'מרק MTEB למשימות סיווג טקסט מקטגוריית t2c. הרשומות מורכבות מטקסטים קצרים שנכתבו במקור ברשת חברתית באנגלית, כחלק מטקסט כתוב וספונטני שמאפיין ציוצים. המטרה המקורית נגעה לניתוח סנטימנט וחילוץ מקטעים רלוונטיים, אך כאן הדגש הוא על קטלוג סנטימנט מובנה שמאפשר לבדוק את איכות הווקטורים שמייצר המודל שלכם.

הנתונים מחולקים מראש לקובצי אימון ומבחן, כאשר המאגר מכיל שבעה קבצים בסך הכל. תמצאו שם קובצי parquet מודרניים לצד קובצי jsonl ישירים שמאפשרים טעינה גמישה. מעבר לטקסט ולתוויות, כרטיס המאגר לא מפרט תהליכי סינון מורכבים שנעשו בדרך, מלבד העובדה שצוות MTEB עיבד את הנתונים כדי שיתאימו לסטנדרט ההערכה שלהם, ומפנה לסקריפט המצורף למי שרוצה לראות את הלוגיקה המדויקת.

מתאים ל

• הערכת מודלי שיכוך

  בדיקת איכות הווקטורים של מודלי שפה על סיווג סנטימנט מול תוצאות בנצ'מרק MTEB.

• אימון מסווגי סנטימנט

  כוונון עדין של מודלים לזיהוי רגש בטקסטים קצרים ובלתי פורמליים מרשתות חברתיות.

• בדיקת עמידות לרעש

  בחינה של ביצועי מודל קיים מול סלנג, שגיאות כתיב ומבנה תחבירי לקוי באנגלית.

איפה זה נופל

הנתונים מוגבלים לחלוטין לאנגלית, כך שלמוצר בעברית המאגר הזה פשוט לא יעזור. מעבר לזה, מדובר בציוצים ישנים שמביאים איתם סלנג, קיצורים ומבנה משפטים שבור, מה שלא תמיד מתאים אם אתם בונים מנוע סיווג לטקסטים רשמיים, מסמכים או מאמרים. כרטיס המאגר לא מפרט הטיות מובנות או את כמות הדגימות המדויקת, ולכן חובה לדגום את קובצי ה־parquet לפני שמתבססים עליהם. אם אתם צריכים ייצוג של שיח מודרני מנושאים עדכניים, קחו בחשבון שהטקסטים נאספו במסגרת תחרות עבר ולא עודכנו מאז פרסומם ב־2022.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית mteb בפייתון באמצעות קריאה למשימה TweetSentimentExtractionClassification, או שמושכים את קובצי ה־parquet וה־jsonl הרגילים דרך Hugging Face. אין צורך לבקש אישור גישה מיוחד והמאגר פתוח להורדה מיידית. הקבצים קלים וכוללים חלוקה ברורה לסט אימון ומבחן, עם שדות טקסט של הציוץ ותוויות הסיווג. אם אתם עובדים עם המסגרת של MTEB, אתם רק צריכים להעביר את המודל שלכם לפונקציית ההרצה והתהליך מחשב את המדדים לבד, בלי שתצטרכו לכתוב קוד הערכה מאפס.

from datasets import load_dataset

ds = load_dataset("mteb/tweet_sentiment_extraction")

הרישיון

הרישיון מוגדר כלא ידוע, וזה דגל אדום אם אתם שוקלים להשתמש בזה למוצר מסחרי. כרטיס הדאטהסט מפנה לתחרות המקורית בקגל אבל לא מציין תנאי שימוש רשמיים, מה שאומר שאין לכם שום אישור משפטי מפורש לאמן מודלים לשימוש מסחרי או להפיץ אותם הלאה. בשביל מחקר אקדמי או בדיקות פנימיות של מודלים זה כנראה יעבור, אבל לכל צורך עסקי כדאי להתרחק או לבדוק היטב את תנאי המקור של התחרות.

הרישיון המלא ב־Hugging Face ↗