wikitablequestions
קוד פתוחstanfordnlpcc-by-4.02022-03-14
מאגר שאלות ותשובות שמבוסס על טבלאות חצי-מובנות מוויקיפדיה באנגלית. הוא מיועד למי שרוצה לבחון יכולת שליפה, הבנה והסקה של מודלים מתוך מבנה טבלאי ולא מטקסט רציף.
- 1,385הורדות בחודש
- 35לייקים
מה זה
כל רשומה במאגר מייצגת שאילתה מול טבלה ספציפית. המבנה כולל מזהה ייחודי, שאלת משתמש בטקסט חופשי, רשימת תשובות צפויות, ואת הטבלה עצמה שמחולקת לכותרות עמודות, שורות ערכים ושם קובץ מקורי.
המאגר מחולק לשלושה חלקים מוכנים מראש: אימון עם 11,321 דוגמאות, ולידציה עם 2,831 דוגמאות, ובדיקה עם 4,344 דוגמאות. סך הכל יש בו קרוב ל־18,500 שאלות שונות שמחוברות למאות טבלאות.
הטקסטים והטבלאות נשענים על עמודי ויקיפדיה, והפרויקט נבנה במקור במעבדה בסטנפורד על ידי החוקרים פאנופונג פסופט ופרסי ליאנג עבור מחקר על פענוח סמנטי של טבלאות.
מתאים ל
- הערכת שאילתות על טבלאות
בדיקת ביצועים של מודלי שפה על שליפת מידע מתוך מבנה נתונים טבלאי.
- אימון למענה קצר מובנה
כוונון עדין למודלים שצריכים להחזיר ערך בודד או ישות ספציפית מטבלה.
- ניתוח סמנטי מורכב
בחינת יכולות חישוב והשוואה כמו זיהוי ערך מקסימלי או תאריך אחרון.
איפה זה נופל
הנתונים כולם באנגלית בלבד ואין כאן שום ייצוג לעברית או לטבלאות מימין לשמאל. המאגר פורסם במקור סביב 2015, כך שהעובדות בטבלאות ישנות ולא משקפות עדכונים מאוחרים. מעבר לזה, כרטיס הדאטהסט משאיר סעיפים שלמים תחת חוסר מידע, כך שאין פירוט רשמי לגבי מי היו המתייגים, איך הם סוננו, ואילו הטיות קיימות בבחירת השאלות והטבלאות. לא הייתי בונה עליו מערכת ייצור בלי בדיקה ידנית של איכות התשובות.
שאלות
נפוצות
האם יש בדאטהסט תמיכה בעברית?
לא. כל הטבלאות והשאלות מבוססות על ויקיפדיה באנגלית בלבד. אם המטרה היא לעבוד עם נתונים בעברית, תצטרכו לתרגם את השאלות ולהמיר את הטבלאות באופן עצמאי.
כמה מקום הדאטהסט תופס בדיסק?
ההורדה של קבצי המאגר דורשת כ־29.3 מגה-בייט. לאחר החילוץ והיצירה של הדאטהסט המלא, השימוש הכולל בדיסק עומד על 77.18 מגה-בייט.
האם מותר להשתמש בו לפרויקט מסחרי?
הרישיון המפורט בכרטיס הוא CC BY-SA 4.0, שמתיר שימוש מסחרי ומחייב מתן קרדיט ליוצרים. עם זאת, רכיב ה־ShareAlike מחייב הפצה של יצירות נגזרות תחת אותו רישיון בדיוק, ולכן מומלץ לבדוק את ההשלכות המשפטיות לפני שילוב במוצר סגור.
איך מחולקות הדוגמאות בין החלקים השונים?
המאגר מגיע מחולק מראש לשלושה חלקים נפרדים. יש בו 11,321 רשומות לאימון, 2,831 רשומות לוולידציה, ועוד 4,344 רשומות שמיועדות לסט בדיקה.
איך טוענים
טוענים את הדאטהסט ישירות דרך הספרייה של Hugging Face בלי שום צורך בהרשמה או באישור גישה מיוחד. קבצי המקור שוקלים 29.27 מגה-בייט, ואחרי הפריסה והעיבוד המקומי הוא תופס 77.18 מגה-בייט בסך הכל בדיסק. המבנה מגיע מוכן בפורמט מילוני פשוט, כאשר השדות המרכזיים לעבודה הם question, answers והאובייקט הפנימי של table שמכיל את ה־header וה־rows.
from datasets import load_dataset
ds = load_dataset("stanfordnlp/wikitablequestions")הרישיון
המאגר מופץ תחת רישיון Creative Commons Attribution Share Alike 4.0 International, למרות שמטא-הנתונים מציינים CC-BY-4.0. בפועל, סעיף ה־ShareAlike מחייב שכל נגזרת או הפצה מחודשת תשוחרר תחת אותם תנאים בדיוק. שימוש מסחרי מותר עם מתן קרדיט מלא למחברים, אך יש לקחת בחשבון את דרישת השיתוף הזהה אם אתם מפיצים מודל שאומן ישירות עליו.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס