UIT-ViQuAD2.0
קוד פתוחtaidngרישיון לא דווח2024-04-13
מאגר שאלות ותשובות בוייטנאמית שמבוסס על ויקיפדיה, כולל שאלות ללא מענה כדי ללמד מודלים להודות כשאין להם תשובה בטקסט.
- 717הורדות בחודש
- 21לייקים
מה זה
המאגר מיועד למשימות הבנת הנקרא בוייטנאמית ומבוסס במקור על מעל 23,000 זוגות שאלות ותשובות שנאספו מתוך 174 ערכים בוויקיפדיה הוייטנאמית, כאשר מתייגים אנושיים יצרו את הנתונים. בגרסה 2.0 הזו נוספו יותר מ־12,000 שאלות שאין להן מענה מתוך הפסקה הנתונה, במטרה לבחון מודלים בתרחיש שבו המידע חסר.
המבנה כולל שדות ייעודיים כמו סימון האם השאלה בלתי אפשרית למענה ותשובה סבירה אך שגויה שנשלפת מהפסקה. הקבצים חולקו לשלושה חלקים סטנדרטיים של אימון, ולידציה ובחינה, לאחר ניקוי שביצע מעלה המאגר להסרת כפילויות של שאלות ותשובות.
מתאים ל
- אימון מודלי הבנת הנקרא
פיתוח מודלים לחילוץ תשובות מתוך פסקאות טקסט בשפה הוייטנאמית.
- מזעור הזיות במודלים
לימוד מודלים לזהות מתי לפסקה אין תשובה מתאימה במקום להמציא מידע שגוי.
- בנצ'מרק להערכת מודלים
בדיקת ביצועים של מודלי שפה על סט הבחינה הרשמי של אתגר VLSP 2021.
איפה זה נופל
המאגר מכיל טקסטים בוייטנאמית בלבד, כך שהוא לא יעזור למי שמחפש עברית או אנגלית. כל התוכן מגיע מוויקיפדיה הוייטנאמית ומסתמך על 174 מאמרים בלבד, מה שמייצר כיסוי נושאי צר למדי. בנוסף, מדובר במחקר שהוצג ב־2021 ופורסם ב־2022, ולכן המידע משקף את מצב הערכים באותה תקופה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
לא מומלץ בכלל כרגע. בעמוד המאגר לא הוגדר רישיון, מה שאומר שאין היתר שימוש ברור, במיוחד לא ליישומים מסחריים. כדי להשתמש בו באופן חוקי תצטרכו ליצור קשר עם החוקרים המקוריים.
האם יש במאגר תמיכה בעברית?
לא, המאגר כולל אך ורק נתונים בשפה הוייטנאמית שנאספו מוויקיפדיה המקומית. אין בו שום טקסט או תרגום לעברית.
מה ההבדל בין גרסה זו לגרסה הראשונה של המאגר?
הגרסה הראשונה כללה רק שאלות שהתשובה להן מופיעה בטקסט. גרסה 2.0 הוסיפה מעל 12,000 שאלות ללא מענה ותשובות מתעתעות, כדי לאמן מודלים לזהות מתי לא ניתן לענות על שאלה.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות המזהה taidng/UIT-ViQuAD2.0 ללא צורך באישורי גישה מיוחדים. החבילה מגיעה בקובצי parquet שמחולקים מראש לסטים של train, validation ו־test, יחד עם קוד עיבוד בשם process_viquad.py. בזמן העבודה כדאי לשים לב לשדות is_impossible ו־plausible_answer, שמגדירים את השאלות המכשילות.
from datasets import load_dataset
ds = load_dataset("taidng/UIT-ViQuAD2.0")הרישיון
היוצר לא דיווח על רישיון בעמוד המאגר. מבחינה מעשית זה אומר שאין לכם הרשאה מפורשת להשתמש בנתונים האלה, בטח שלא לפיתוח מודל מסחרי או לשילוב במוצר של חברה. לפני שנוגעים בו כדאי לפנות ישירות לחוקרים באוניברסיטת UIT כדי להבין מה תנאי השימוש.