multiclass-sentiment-analysis-dataset
קוד פתוחSp1786apache-2.02023-06-21
מאגר נתונים באנגלית לסיווג סנטימנט מרובה מחלקות. מי שבוחר בו מחפש חלוקה מוכנה מראש לאימון, בדיקה ואימות בלי להתעסק בפיצול ידני.
- 442הורדות בחודש
- 29לייקים
מה זה
המאגר מציע בין עשרת אלפים למאה אלף דוגמאות טקסט באנגלית עבור משימות סיווג, ומופיע בו גם תיוג למשימת תרגום. הנתונים מאורגנים מראש בשלושה קבצי CSV נפרדים שמחלקים את המידע לקבוצת אימון, קבוצת בדיקה וקבוצת אימות. המאגר כולל גם סקריפט פייתון ששימש ליצירת הקבצים.
מעבר לקבצים עצמם, הכרטיס של המאגר ריק לגמרי ונשאר כפי שנוצר בתבנית המקורית. אין בו פירוט לגבי אופן איסוף הטקסטים, מקור הנתונים, שמות העמודות או זהות המתייגים. מי שרוצה לדעת איך הקבצים נבנו בפועל יצטרך לפתוח את סקריפט היצירה שצורף למאגר ולקרוא את הקוד בעצמו.
מתאים ל
- אימון מודל סנטימנט באנגלית
אימון מסווג טקסט רב מחלקתי באמצעות חלוקה מוכנה מראש לאימון, בדיקה ואימות.
- הערכת ביצועי מודלים
בדיקת דיוק של מודלים קיימים על קובצי הבדיקה והאימות המוכנים.
- ניסויי בדיקת סיווג
הרצת ניסויים מהירים כשצריך קובצי CSV מוכנים ואין עניין לבצע פיצול נתונים עצמאי.
איפה זה נופל
הבעיה הגדולה ביותר כאן היא היעדר מוחלט של תיעוד. הכרטיס לא מספק מידע על הטיות, לא מפרט אילו מחלקות סנטימנט קיימות, ולא חושף את מקור הטקסטים. אם הנתונים נגרדו מהרשת, ייתכן שהם מכילים שפה פוגענית או מידע פרטי בלי שאיש סינן אותם. בנוסף, המאגר מוגדר לשפה האנגלית בלבד ולא יעזור למי שמחפש עבודה בעברית. לא הייתי מכניס נתונים כאלה ישירות לאימון מודל פרודקשן בלי לטעון מדגם ידני, לבדוק את התוויות בעיניים ולראות מאיפה הגיע הטקסט.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, המאגר מסומן תחת רישיון Apache 2.0 שמתיר שימוש מסחרי. תצטרכו רק לכלול את תנאי הרישיון המקוריים ולתת ייחוס מתאים.
האם יש במאגר טקסטים בעברית?
לא, המאגר כולל טקסטים בשפה האנגלית בלבד לפי ההגדרות שלו. הוא לא מתאים לעיבוד שפה טבעית בעברית.
מאיפה נאספו הנתונים ואיך בוצע התיוג?
המידע הזה לא מופיע כלל בכרטיס המאגר. אפשר לנסות ללמוד על מקור הנתונים ואופן העיבוד רק מתוך עיון בסקריפט create_dataset.py שנמצא במאגר.
מה הגודל של המאגר?
המאגר כולל סך הכל בין עשרת אלפים למאה אלף רשומות המחולקות לשלושה קובצי CSV. מדובר במאגר קטן יחסית שנטען במהירות.
איך טוענים
טוענים את הקבצים ישירות דרך ספריית datasets של Hugging Face באמצעות המזהה Sp1786/multiclass-sentiment-analysis-dataset, או מורידים ישירות את קובצי ה־CSV מהמאגר. אין צורך לבקש אישור גישה מיוחד, המאגר פתוח לציבור.
לפני שמתחילים לרוץ על זה כדאי להעיף מבט במבנה הפנימי. המאגר מכיל שישה קבצים, כולל קובצי train_df.csv, test_df.csv ו־val_df.csv, לצד סקריפט הבנייה. מכיוון שאין תיעוד על שמות השדות בכרטיס, תצטרכו לבדוק מה שמות העמודות ב־CSV כדי לדעת איפה יושב הטקסט ואיפה יושבת תווית הסיווג.
from datasets import load_dataset
ds = load_dataset("Sp1786/multiclass-sentiment-analysis-dataset")הרישיון
הרישיון המדווח הוא Apache 2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי, שינוי של הקוד והפצה מחדש. הרישיון דורש מתן קרדיט ושמירה על הודעת הרישיון המקורית. אפשר לאמן על בסיסו מודלים מסחריים בלי חובה לחשוף את הקוד שלכם או לשחרר את התוצר תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים