sst

מה זה

המאגר כולל בין מאה אלף למיליון רשומות שמקורן בביקורות סרטים מאתר Rotten Tomatoes. כל רשומה מייצגת משפט שלם או ביטוי מתוכו, לצד ציון רגש שנע בין 0.0 ל־1.0, רצף מילים מופרד, ומבנה עץ תחבירי שמקשר בין חלקי המשפט.

הנתונים מגיעים בשלוש תצורות שונות. התצורה הבסיסית כוללת את המשפטים המלאים, הטוקנים והעץ. תצורת המילון מרכזת ביטויים קצרים וציוני הרגש שלהם ללא חלוקה לקבוצות אימון. התצורה השלישית מציגה את העצים במבנה Penn Treebank עם חלוקה לחמש דרגות סנטימנט, מ־0 עד 4.

המשפטים המלאים מחולקים לשלוש קבוצות עבודה של אימון, ולידציה ובדיקה. המפרסמים לא צירפו מידע על אופן סינון הטקסטים או על תהליך התיוג של האנשים שדירגו את הביטויים.

מתאים ל

• סיווג רגש בינארי

  אימון מודלים שמזהים אם ביקורת היא חיובית או שלילית על ידי עיגול הציון הרציף לספרות 0 או 1.

• הערכת מודלים תחביריים

  בדיקה של יכולת המודל להבין סנטימנט של חלקי משפט מורכבים בעזרת עצי הגזירה המצורפים.

• סיווג סנטימנט מדורג

  הערכת ביצועים על חמש רמות רגש שונות באמצעות תצורת העצים המקודדים.

איפה זה נופל

הטקסטים כולם באנגלית ומבוססים על כתיבה של מבקרי קולנוע, כך שהסגנון מליצי, מלא ציניות, ומאוד לא מייצג שיחות שירות או טקסטים עסקיים. הכרטיס לא מספק מידע על הטיות, זהות המתייגים, או סינון של תוכן אישי ורגיש. אם אתם בונים מודל לטקסט חופשי ברשת או לשפות אחרות כמו עברית, הנתונים האלה לא יעזרו.

איך טוענים

טוענים את המאגר ישירות דרך ספריית datasets בקוד פייתון באמצעות הסקריפט sst.py שמגיע במאגר. אין צורך באישור גישה או בהרשמה מוקדמת. המאגר קל וכולל שלושה קבצים בלבד. לפני שמתחילים לאמן, צריך לבחור את התצורה המתאימה מבין השלוש ולהחליט אם עובדים עם שדה הלייבל הרציף, הופכים אותו לבינארי באמצעות עיגול, או משתמשים בעצים המוכנים.

from datasets import load_dataset

ds = load_dataset("stanfordnlp/sst")

הרישיון

הרישיון מוגדר כלא ידוע. הדף לא מציין תנאי שימוש מסחרי, דרישות ייחוס או מגבלות הפצה. מבחינה משפטית, אי אפשר לדעת אם מותר להשתמש בו במוצר מסחרי או לשחרר מודל שאומן עליו בלי להסתכן בהפרת זכויות יוצרים של כותבי הביקורות או החוקרים.

הרישיון המלא ב־Hugging Face ↗