duckdb-text2sql-25k
קוד פתוחmotherduckdbcc-by-sa-4.02024-03-23
המאגר מכיל 25,000 זוגות של הוראות בשפה טבעית ושאילתות SQL מותאמות לתחביר של DuckDB. הוא מיועד למי שרוצה לאמן מודל שמכיר פונקציות ספציפיות של המנוע ולא רק SQL סטנדרטי.
- 121הורדות בחודש
- 43לייקים
מה זה
כל רשומה מורכבת מהוראה טקסטואלית, שאילתת SQL תואמת, סכמה של הטבלאות בפורמט של פקודות CREATE TABLE, ושדה קטגוריה שמקשר את הדוגמה לחלק המתאים בתיעוד. הסכמות לא נכתבו מאפס אלא נלקחו מהמאגר המוכר Spider, תורגמו לתחביר של DuckDB והורחבו בעמודות עם טיפוסים מקוננים.
התוכן עצמו לא נאסף משאילתות של משתמשים אמיתיים אלא סונתז באמצעות המודל Mixtral 8x7B, על בסיס התיעוד של DuckDB מגרסה 0.9.2. היוצרים מציינים שהפעילו שיטות שונות כדי לוודא תקינות תחבירית וסמנטית של השאילתות שנוצרו, אך המאגר מגיע כקובץ אימון יחיד ללא חלוקה מובנית לולידציה או בדיקה.
מתאים ל
- אימון מודלי Text to SQL
כוונון עדין של מודלי שפה לכתיבת שאילתות שמנצלות פונקציות ייחודיות וטיפוסים מקוננים של DuckDB.
- בנצ'מרק והערכת ביצועים
בדיקת היכולת של מודלים קיימים להתמודד עם תחביר אנליטי מורכב מול סכמות מרובות עמודות.
- העשרת פרומפטים לפיתוח
שליפת דוגמאות לפי קטגוריות מהתיעוד כדי לבנות פרומפטים של Few-shot למערכות פנימיות.
איפה זה נופל
הנתונים כולם מבוססים על גרסה 0.9.2 של DuckDB, כך שתחביר חדש שנוסף בגרסאות מאוחרות יותר לא קיים פה. מעבר לכך, כל הטקסט באנגלית בלבד ונוצר באופן סינתטי על ידי מודל שפה, מה שאומר שסגנון הפניות והשאלות עלול להיות מלאכותי ולא לשקף את הבלגן של משתמשי קצה. לפני שמשלבים מודל כזה במערכת חיה, חייבים לבדוק עצמאית את אמינות השאילתות, כי בדיקות תקינות אוטומטיות לא תמיד תופסות שגיאות לוגיות עדינות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון מאפשר שימוש מסחרי, אבל כולל תנאי שיתוף זהה שמחייב להפיץ נגזרות תחת cc-by-sa-4.0. אם אתם מאמנים מודל פנימי עבור מוצר קנייני סגור, צריך לוודא שהרישיון של המודל המשקולל לא יחייב אתכם לחשוף אותו.
האם יש במאגר תמיכה בשאילתות בעברית?
לא. כל ההוראות והשדות במאגר נכתבו באנגלית בלבד. אם המערכת שלכם מיועדת למשתמשים ישראלים שכותבים שאלות בעברית, תצטרכו לתרגם את הפרומפטים או להוסיף שכבת תרגום לפני הפנייה למודל.
מאיפה הגיעו הנתונים והאם אלו שאילתות אמיתיות?
הנתונים אינם שאילתות שנאספו מאנשים. הם סונתזו על ידי המודל Mixtral 8x7B על בסיס תיעוד גרסה 0.9.2 של המנוע וסכמות שנלקחו ממאגר Spider ועברו התאמה לתחביר של DuckDB.
במה המאגר הזה שונה ממאגרי Spider או BIRD הרגילים?
בניגוד למאגרים כלליים שמכוונים לרוב ל־SQLite או Postgres, הדאטהסט הזה מתמקד במאפיינים הייחודיים של DuckDB. הוא כולל טיפוסים מקוננים, פונקציות אנליטיות ספציפיות ותחביר מותאם למנוע העבודה הזה.
איך טוענים
טוענים את המאגר ישירות בספריית datasets של Hugging Face בעזרת הנתיב motherduckdb/duckdb-text2sql-25k, בלי צורך באישור גישה מקדים. הנתונים שמורים בקובץ train.jsonl שמכיל את כל הדוגמאות. בזמן העבודה כדאי לשים לב ששדה הסכמה הוא אופציונלי ולא מופיע בכל השורות, ושהיוצרים ממליצים להשתמש בתבנית פרומפט דומה לזו ששימשה לאימון המודל DuckDB-NSQL-7B.
from datasets import load_dataset
ds = load_dataset("motherduckdb/duckdb-text2sql-25k")הרישיון
הרישיון הוא cc-by-sa-4.0, בעיקר בגלל שהסכמות נשענות על מאגר Spider שמופץ תחת אותו רישיון. מותר להשתמש בנתונים באופן מסחרי ולשנות אותם, אבל חובה לתת קרדיט ולהפיץ יצירות נגזרות תחת אותו רישיון בדיוק. הדרישה הזו לשיתוף זהה עלולה לחול גם על מודלים שתאמנו על המאגר, נקודה שדורשת בדיקה משפטית זהירה לפני שמשלבים אותו במוצר סגור.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון