IndicQA
קוד פתוחai4bharatcc-by-4.02022-09-15
מאגר שאלות ותשובות מבוססות הקשר עבור אחת עשרה שפות הודיות שונות. הוא מיועד למי שבונה או בודק מודלים שצריכים להבין טקסט ולענות על שאלות בשפות האלו.
- 2,692הורדות בחודש
- 14לייקים
מה זה
כל רשומה במאגר בנויה במבנה מוכר של משימות מענה על שאלות. היא כוללת מזהה ייחודי, פסקת מקור שמספקת את ההקשר, שאלה שנשאלת לגבי המידע בפסקה, ורשימה של תשובות מתאימות שנשלפות מתוכו.
הנתונים מחולקים לקבצי ג'ייסון נפרדים לפי שפות, ביניהן הינדי, בנגלי, טמילית, פנג'אבי, טלוגו, אסאמית, גוג'ראטית, קנאדה, מראטהי, מליאלאם ואוריה. המאגר מכיל פחות מאלף רשומות בסך הכל לפי הנתונים המדווחים.
הכרטיס לא מפרט מאיזה מקורות טקסט נאספו פסקאות ההקשר, מי ניסח את השאלות, או אם התבצע סינון אוטומטי כלשהו. אין בו מידע על תהליכי בקרת איכות, ולכן צריך לבדוק את הדגימות ידנית לפני שמסתמכים עליהן.
מתאים ל
- הערכת מודלים בשפות הודיות
בדיקת ביצועים של מודלי שפה על שליפת תשובות מתוך הקשר בשפות כמו הינדי, בנגלי או טמילית.
- בדיקת עמידות רב לשונית
הרצה של מדגם קטן כדי לבדוק האם מודל רב לשוני מסוגל להתמודד עם שפות הודיות בלי אימון ייעודי.
- כיול מערכות שאלות ותשובות
בחינת יכולת הדיוק של מערכת חיפוש ומענה מבוססת מסמכים על מבנה נתונים פשוט וישיר.
איפה זה נופל
הבעיה המרכזית כאן היא הנפח, המאגר קטן מאוד ומכיל פחות מאלף דוגמאות שמחולקות בין אחת עשרה שפות שונות, כך שיש מעט מאוד דוגמאות לכל שפה. בנוסף, הכרטיס לא מספק מידע על מקור הטקסטים, אופן כתיבת השאלות או הטיות אפשריות. למי שמחפש עברית אין מה לעשות כאן, המאגר מתמקד כולו בשפות של תת היבשת ההודית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון המדווח הוא רישיון חופשי שמתיר שימוש מסחרי. החובה המרכזית שלכם היא מתן קרדיט נאות ליוצרים. אין כאן דרישה לשתף את המודל שלכם באותו רישיון.
האם יש במאגר נתונים בעברית?
לא, המאגר מיועד אך ורק לאחת עשרה שפות שמדוברות בהודו. אין בו שום תמיכה או טקסטים בעברית.
כמה דוגמאות יש בכל שפה?
לפי המידע הרשמי המאגר כולו מונה פחות מאלף רשומות, והן מפוצלות בין קבצים שונים לכל שפה. המשמעות היא שבכל שפה בודדת יש כמות קטנה מאוד של שאלות ותשובות, מה שמתאים בעיקר להערכה ולא לאימון מלא.
מאיפה הגיעו הטקסטים של השאלות והתשובות?
כרטיס המאגר לא מציין מה מקור הטקסטים או כיצד נאספו ונכתבו התשובות. אם אתם צריכים לדעת את מקור המידע המדויק, תצטרכו לבדוק את הקוד או את קבצי הג'ייסון ישירות.
איך טוענים
טוענים את המאגר ישירות דרך ספריית הדאטהסטס באמצעות המזהה, או מורידים את קבצי הג'ייסון לפי השפה הרצויה. אין צורך באישור גישה או ברישום מקדים. המבנה פשוט מאוד ומכיל את השדות מזהה, הקשר, שאלה ותשובות, כך שלא נדרש עיבוד מורכב כדי להתחיל להריץ עליו שאילתות.
from datasets import load_dataset
ds = load_dataset("ai4bharat/IndicQA")הרישיון
המאגר מופץ ברישיון מסחרי פתוח מסוג קריאייטיב קומונס 4.0. אפשר להשתמש בו לאימון מודלים פנימיים או מסחריים ולהפיץ נגזרות שלו, כל עוד נותנים קרדיט מתאים ליוצרים המקוריים לפי תנאי הרישיון.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס