vietnamese_students_feedback
קוד פתוחuitnlpunknown2022-03-02
מעל 16,000 משפטי משוב של סטודנטים בווייטנאמית עם תיוג כפול של סנטימנט ונושא. הוא נותן בסיס ממוקד למי שבונה מודלים לתחום החינוך בשפה הזו.
- 562הורדות בחודש
- 32לייקים
מה זה
המאגר כולל משפטים בודדים מתוך משובי סטודנטים בווייטנאמית שתויגו ידנית על ידי בני אדם. כל רשומה כוללת את הטקסט, סיווג סנטימנט בשלוש דרגות שלילי, ניטרלי או חיובי, וסיווג נושאי שמחלק את המשוב לארבע קטגוריות: מרצה, תוכנית לימודים, מתקנים ונושאים אחרים. הסכמת המתייגים עמדה על מעל 91 אחוזים בסנטימנט ומעל 71 אחוזים בנושא.
הנתונים מגיעים מחולקים מראש לשלושה חלקים מוכנים לעבודה. סט האימון מכיל 11,426 דוגמאות, סט הוולידציה מכיל 1,583 דוגמאות, וסט הבדיקה כולל 3,166 דוגמאות נוספות. מעבר למספרים האלה, הכרטיס לא מפרט מאיזה מוסד אקדמי נאספו המשובים, באיזה אופן הם סוננו או כיצד בוצע תהליך הנירמול של הטקסט המקורי.
מתאים ל
- ניתוח סנטימנט בווייטנאמית
אימון ובדיקה של מודלים לסיווג רגש חיובי, ניטרלי או שלילי בטקסטים קצרים בשפה הוייטנאמית.
- סיווג נושאי של משובי למידה
זיהוי אוטומטי של תלונות או שבחים על מרצים, מתקנים ותוכניות לימוד במוסדות אקדמיים.
- בנצ'מרק למודלים רב-לשוניים
הערכת ביצועים של מודלי שפה רב-לשוניים במשימות הבנת שפה עם משאבים מוגבלים בווייטנאמית.
איפה זה נופל
הטקסט כולו בוייטנאמית ואין בו מילה אחת בעברית או באנגלית, כך שהוא לא יעזור ישירות למי שמפתח מערכת מקומית אלא אם בודקים יכולות חוצות שפות. הכרטיס משאיר כמעט את כל הפרטים הקריטיים ריקים: אין מידע על הטיות אפשריות, לא ידוע מי היו המתייגים, ואין תיעוד לגבי ניקוי מידע אישי מזהה מתוך המשובים. בנוסף, המאמר המקורי פורסם בשנת 2018, כך שהסלנג וההתבטאויות משקפים את התקופה הזו ונוגעים רק להקשר של מוסדות לימוד.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה בפרויקט מסחרי?
לא מומלץ להסתמך עליו למוצר מסחרי. הרישיון מסומן כלא ידוע, ואין אישור שימוש כתוב שמתיר הפצה או אימון מסחריים. במצב כזה מומלץ להגביל את השימוש למחקר בלבד או לבקש אישור ישיר מהמפרסמים.
האם יש בדאטהסט טקסטים בעברית?
לא. כל הנתונים נאספו מסטודנטים בווייטנאם ונכתבו בווייטנאמית בלבד. הוא לא מתאים לפיתוח מודל שמיועד להבין עברית באופן ישיר.
האם המאגר דורש משאבי מחשוב כבדים לטעינה?
ממש לא. מדובר בסך הכל בכ־16 אלף משפטים קצרים המחולקים לשלושה קבצים קטנים. אפשר לטעון ולעבד אותו על כל מחשב פיתוח רגיל תוך שניות בודדות.
איך המידע נאסף ומאיפה הוא הגיע?
הטקסטים מייצגים משובים אמיתיים של סטודנטים שתויגו ידנית לסנטימנט ולנושאים כמו מרצים ותשתיות. עם זאת, כרטיס המאגר משאיר את רוב פרטי האיסוף המדויקים, המקורות והמתייגים ללא מענה.
איך טוענים
טוענים את המאגר ישירות עם ספריית datasets של Hugging Face דרך המזהה שלו, בלי צורך לבקש אישור גישה מוקדם. הנתונים מגיעים דרך סקריפט ייעודי שמסדר אותם מיד לחלוקות המובנות, והמשקל הכללי קטן מאוד בהתחשב בכך שמדובר בכשלושה קבצים ופחות ממאתיים אלף מילים. שלושת השדות שמעניינים אתכם בקוד הם sentence לטקסט, sentiment לתווית הרגש כמספר שלם בין 0 ל־2, ו־topic שמחזיר ערך בין 0 ל־3.
from datasets import load_dataset
ds = load_dataset("uitnlp/vietnamese_students_feedback")הרישיון
הרישיון מוגדר כ־unknown, כלומר לא ידוע. כשאין רישיון מוגדר במפורש, זכויות היוצרים שייכות ליוצרים ואין לכם אישור חוקי ברור להשתמש במידע, בטח שלא לפיתוח מסחרי. לאימון מודל שמיועד להפצה או למוצר אמיתי, הדאטהסט הזה יוצר סיכון משפטי ומוטב לפנות קודם ליוצרים מאוניברסיטת UIT כדי להבין מה מותר.