viggo

מה זה

במאגר יש בסך הכל 6,900 דוגמאות שמבוססות על 2,253 ייצוגי משמעות מובנים. כל רשומה כוללת שני שדות בלבד: שדה קלט שמכיל את סוג פעולת השיח ואת המאפיינים של המשחק, ושדה פלט שמכיל משפט באנגלית שמבטא את הנתונים האלה בדיוק. עבור רוב הייצוגים נאספו שלושה ניסוחים אנושיים שונים כדי לספק מגוון לשוני.

הנתונים נאספו באמצעות מיקור המונים מקרב עובדי אמזון מכניקל טורק ממדינות דוברות אנגלית שהגדירו את עצמם כשחקנים. החוקרים ניקו את הטקסטים ביסודיות באמצעות ביטויים רגולריים והיוריסטיקות, תיקנו שגיאות כתיב, האחידו מונחים טכניים ומחקו מידע עודף שהעובדים הוסיפו על דעת עצמם.

החלוקה כוללת 5,103 דוגמאות לאימון, 714 לוולידציה ו־1,083 לבדיקה, לצד קבצי בדיקה שכוללים אחוזים קטנים מנתוני האימון לצורכי בדיקות קיצוניות. אין חפיפה של שמות משחקים או מפתחים בין קבוצת האימון לקבוצות המבחן.

מתאים ל

• אימון NLG מונחה נתונים

  יצירת תשובות שיחתיות מתוך קלט מובנה של פרמטרים וערכים.

• מדידת הזיות במודלים

  בדיקת מידת הדיוק והצמדות המודל לעובדות באמצעות מדד SER.

• בדיקות מעט דוגמאות

  הערכת ביצועי למידה עם מעט דאטה בזכות פיצול לקבצי אימון קטנים.

איפה זה נופל

הנתונים מוגבלים לתחום משחקי הווידאו בלבד וקיימים באנגלית בלבד, כך שהם לא יעזרו לפיתוח בעברית. המודל שיתאמן כאן ילמד סלנג וז'רגון של גיימרים שלא מתאימים למוצרים כלליים או לשימושים עסקיים. בנוסף, המאגר פורסם במקור סביב שנת 2019 והפרטים על משחקים שלא יצאו אז כבר ישנים. החוקרים גם כפו כללי פיסוק מלאכותיים, כמו מחיקת מקפים מביטויים מסוימים, דבר שיכול לגרור ענישה מוזרה במדדי הערכה אוטומטיים.

איך טוענים

טוענים את המאגר ישירות דרך הספרייה עם הפקודה הרגילה על השם GEM/viggo. המאגר פתוח לציבור ואינו דורש אישור גישה מראש. הנתונים מאוחסנים בקובצי טבלה פשוטים והנפח שלהם קל מאוד להורדה ולעיבוד על כל מחשב. בזמן העבודה תצטרכו לפרק את שדה הטקסט של הקלט כדי לחלץ את המאפיינים השונים, כמו שם המשחק, הפלטפורמה, הדירוג וסוג השיחה, ולהשוות את הפלט של המודל למשפט הרפרנס.

from datasets import load_dataset

ds = load_dataset("GEM/viggo")

הרישיון

המאגר מופץ תחת רישיון cc-by-sa-4.0. הרישיון מאפשר שימוש מסחרי, אך מחייב מתן קרדיט מתאים ליוצרים ושיתוף של נגזרות תחת אותו רישיון בדיוק. המשמעות עבור מודל שאומן על הדאטהסט הזה נתונה לפרשנות משפטית, אך אם תפיצו את המודל עצמו או נתונים שעובדו ממנו, אתם עשויים להידרש לשחרר אותם באותו רישיון חופשי.

• שימוש מסחרי
• שינוי הקוד
• חובת שיתוף באותו רישיון

הרישיון המלא ב־Hugging Face ↗