SQaLe-text-to-SQL-dataset
קוד פתוחtrl-labmit2025-09-21
מאגר חצי סינתטי לאימון מודלי Text-to-SQL, שנשען על סכמות אמיתיות של בסיסי נתונים. הוא נותן מענה למי שצריך היקף רחב של שאילתות מורכבות על מבני נתונים אמיתיים ולא מלאכותיים.
- 1,786הורדות בחודש
- 20לייקים
מה זה
המאגר כולל 517,676 שלשות מאומתות של שאלה, סכמה ושאילתת SQL. הבסיס לכל המבנים האלה מגיע מתוך SchemaPile, משם נלקחו 22,989 סכמות אמורפיות מהעולם האמיתי, והיוצרים הרחיבו אותן לכדי 135,875 סכמות מורחבות כדי לייצר מגוון רחב של מבני טבלאות.
המבנים כאן גדולים ומסועפים בהרבה ממה שמקובל במאגרים אקדמיים טיפוסיים. החציון עומד על 91 טבלאות ו־435 עמודות לכל סכמה, לצד מעל 13 מיליון מפתחות זרים בסך הכל. הנתונים מחולקים לקבצי פרקט תחת פיצול יחיד של train, בלי חלוקה מובנית מראש למבחן או ולידציה.
מתאים ל
- אימון מודלי שפה לשאילתות
פיין טיונינג של מודלים פתוחים לכתיבת SQL על סכמות מורכבות ומרובות טבלאות.
- הערכת הבנת סכמות
בדיקת היכולת של מודל קיים להתמודד עם מאות עמודות ומפתחות זרים לפני יצירת שאילתה.
- מחקר על דאטה מובנה
מחקרי סקיילינג הבודקים כיצד נפח גדול של סכמות אמיתיות משפר יצירת טקסט לקוד.
איפה זה נופל
כל השאלות והשאילתות במאגר הן באנגלית בלבד, ואין כאן נתונים בעברית. בנוסף, מדובר בדאטהסט חצי סינתטי, כך שהשאלות והשאילתות נוצרו בתהליך אוטומטי ולא נכתבו בידי משתמשי קצה אנושיים בזמן אמת. הדאטהסט כולל רק פיצול אימון, מה שמחייב אתכם לחתוך לעצמכם סטים של בדיקה. כדאי גם לשים לב שהסכמות ענקיות, כך שאם המודל שלכם מוגבל בחלון הקשר קצר, תתקשו להזין עשרות טבלאות לפרומפט.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט במוצר מסחרי?
כן. הרישיון הוא MIT, מה שמתיר שימוש מסחרי מלא, כולל אימון מודלים שמיועדים למכירה או להטמעה במוצרים סגורים. הדרישה היחידה היא השארת הייחוס ונוסח הרישיון המקורי.
האם יש במאגר שאילתות או סכמות בעברית?
לא. כל הנתונים, כולל שמות העמודות, הסכמות והשאלות בשפה טבעית, מתועדים ומופקים באנגלית בלבד. אם המוצר שלכם פונה למשתמשים בעברית, תצטרכו לתרגם את השאלות או להתאים את המודל בנפרד.
במה SQALE שונה ממאגרים כמו Spider או BIRD?
ההבדל העיקרי הוא הגודל ומקור המבנים. במקום מאות בודדות של סכמות פשוטות או מלאכותיות, כאן יש מעל 135 אלף סכמות שמבוססות על נתוני אמת מתוך SchemaPile, עם ממוצע של עשרות טבלאות ומאות עמודות לכל סכמה.
איך הנתונים נוצרו ונבדקו?
הבסיס נלקח מתוך 22,989 סכמות אמיתיות שהורחבו למבנים מגוונים. השאלות ושאילתות ה־SQL נוצרו בתהליך אוטומטי חצי סינתטי, והיוצרים מציינים שכל השלשות של שאלה, סכמה ושאילתה עברו תיקוף לפני שנכללו במאגר.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות הנתיב trl-lab/SQaLe-text-to-SQL-dataset עם הפיצול train. אין צורך לבקש אישור גישה מיוחד, המאגר פתוח לחלוטין. הוא שמור ב־34 קבצי parquet, כך שמומלץ לעבוד עם הזרמה אם הזיכרון מוגבל. השדות המרכזיים בכל רשומה הם schema שמחזיק את מבנה הטבלאות, question שמכיל את השאלה המילולית, ו־query שמכיל את שאילתת ה־SQL התואמת.
from datasets import load_dataset
ds = load_dataset("trl-lab/SQaLe-text-to-SQL-dataset")הרישיון
המאגר מופץ תחת רישיון MIT. המשמעות פשוטה, מותר להשתמש בו לצרכים מחקריים ומסחריים, לשנות אותו ולאמן עליו מודלים חופשיים או מסחריים בלי לשתף את הקוד שלכם. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי בקבצים הרלוונטיים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש