wikisql

מה זה

המאגר מכיל 80,654 דוגמאות מתויגות ידנית של שאלות בשפה טבעית לצד שאילתות SQL תואמות. כל הדוגמאות מבוססות על 24,241 טבלאות שנלקחו מתוך ויקיפדיה באנגלית. כל רשומה כוללת שאלה, את מבנה הטבלה עם שמות העמודות והשורות, וייצוג מפורט של השאילתה הן בפורמט מובנה והן כמחרוזת טקסט קריאה.

הנתונים מחולקים לשלושה חלקים ברורים. יש 56,355 רשומות בחלק האימון, 8,421 רשומות בערכת האימות, ו־15,878 רשומות המיועדות לבדיקה סופית. מעבר לטבלאות עצמן, המאגר שומר מידע נוסף כמו כותרת הדף המקורי, כותרת המקטע וסוגי הנתונים של העמודות. הכרטיס המקורי לא מפרט כיצד סוננו הטבלאות בפועל או מי ביצע את התיוג, אך מציין שהמידע נאסף במיקור המונים עבור מאמר המחקר המקורי.

מתאים ל

• המרת שפה לשאילתות

  אימון מודלים שמקבלים שאלה באנגלית ומייצרים ממנה פקודת SQL לטבלה בודדת.

• הערכת ביצועי מודלים

  בדיקת הדיוק של מודלי שפה על סט נתונים תקני של מעל 15 אלף דוגמאות בחינה.

• מחקר ממשקי נתונים

  פיתוח אלגוריתמים לחיבור בין שפה טבעית למבני נתונים טבלאיים פשוטים.

איפה זה נופל

הנתונים כולם באנגלית ומבוססים על טבלאות ויקיפדיה, כך שאין כאן תמיכה בעברית או במבנים מורכבים של מסדי נתונים עסקיים. השאילתות פשוטות יחסית ופועלות מול טבלה בודדת, בלי חיבורי טבלאות מורכבים או פקודות SQL מתקדמות. כרטיס המידע לא כולל פרטים על הטיות, סינון שגיאות או מידע אישי, ולכן לא מומלץ להסתמך עליו כמייצג יחיד לבניית מוצר אמיתי.

איך טוענים

טוענים את המאגר ישירות דרך הספרייה הרגילה, באמצעות הסקריפט wikisql.py שמגיע במאגר. קובץ ההורדה שוקל 26.16 מגה בייט, ובדיסק הוא תופס כ־181 מגה בייט בסך הכל. אין צורך באישור גישה מיוחד. השדות המרכזיים לעבודה הם question שמכיל את השאלה, sql שמחזיק את השאילתה בפורמט קריא ומובנה, והטבלה שמכילה את שמות העמודות והשורות הרלוונטיות.

from datasets import load_dataset

ds = load_dataset("Salesforce/wikisql")

הרישיון

הרישיון הרשום בעמוד המאגר מוגדר כלא ידוע. המשמעות היא שאין הרשאה ברורה להשתמש בו לצרכים מסחריים או לשלב אותו במוצר ללא בדיקה מעמיקה של תנאי השימוש במאגר המקורי. מי שמאמן עליו מודל למטרות מסחריות לוקח סיכון משפטי, ועדיף להגביל את השימוש בו למחקר והערכה בלבד.

הרישיון המלא ב־Hugging Face ↗