Table-GPT
קוד פתוחLipengCSmit2024-05-21
המאגר מרכז דוגמאות אימון ובדיקה עבור 18 משימות שונות של עיבוד והבנת טבלאות. הוא מתאים למי שרוצה לאמן מודלי שפה לעבודה מול מבני נתונים בלי לייצר פרומפטים מאפס.
- 1,203הורדות בחודש
- 36לייקים
מה זה
המאגר מבוסס על מאמר שהוצג ב־SIGMOD 24 ומכיל דוגמאות בפורמט הוראות שמיועדות למודלי שפה. הנתונים מחולקים ל־18 משימות שונות, הכוללות זיהוי ערכים חסרים, שאילתות בשפה טבעית מול טבלאות, המרה מובנית ל־SQL, התאמת ישויות וסכמות, סיכום טבלאות, וניקוי שגיאות כתיב.
החלוקה הפנימית מפרידה בין אימון לבדיקה. ארבע משימות משמשות כמבחן עיוור לחלוטין שלא מופיע באימון כדי לבדוק הכללה למשימות חדשות, תשע משימות משמשות לאימון בלבד, וחמש משימות משמשות לשני החלקים. חלק מנתוני הבדיקה מגיעים ממאגרים ציבוריים מוכרים כמו WikiSQL, אמזון, גוגל, DBLP ו־WikiTest.
ערכות האימון כוללות גרסה רגילה וגרסה מורחבת בשם train_large. רוב נתוני האימון הם סינתטיים שנוצרו במיוחד עבור הפרויקט, למעט משימות בודדות שמבוססות על מקורות קיימים. היוצרים מציינים שהסירו חלק מהנתונים הסינתטיים ששימשו במאמר המקורי בגלל מגבלות רישוי.
מתאים ל
- אימון מודלים להבנת טבלאות
כוונון עדין של מודלי שיחה על מגוון פעולות כמו מיון, סינון והתאמת עמודות.
- המרת שאלות לשאילתות SQL
בניית רכיבי תרגום מטקסט חופשי לקוד מול בסיסי נתונים על בסיס דוגמאות מוכנות.
- הערכת ביצועים במשימות חדשות
בדיקת יכולת ההכללה של מודל מול ארבע משימות טבלאיות שלא הופיעו באימון כלל.
- ניקוי ותיקון נתונים בטבלה
אימון מערכות לזיהוי שגיאות הקלדה והשלמת ערכים חסרים לפי ההקשר של שאר השורות.
איפה זה נופל
חלק משמעותי מנתוני האימון הוא סינתטי, כך שהם עלולים שלא לשקף את כל הבלגן והמורכבות שיש בטבלאות עסקיות אמיתיות. המאגר מבוסס על טקסטים באנגלית, ללא דוגמאות בעברית, מה שידרוש תרגום והתאמה מקומית לפני עבודה על נתונים ישראליים. בנוסף, העובדה שחלק מהנתונים הסינתטיים הוסרו עקב בעיות רישוי אומרת שתוצאות השחזור עשויות להיות שונות מאלו שפורסמו במאמר המקורי.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. הדאטהסט מוגדר תחת רישיון MIT שמאפשר שימוש מסחרי מלא, כולל אימון מודלים פנימיים או שילוב במוצרים. החובה היחידה היא לכלול את תנאי הרישיון וזכויות היוצרים המקוריות בעותקים או בחלקים מהותיים של הקוד והנתונים.
האם המאגר כולל תוכן בעברית?
לא. כל הדוגמאות, ההוראות והטבלאות במאגר מבוססות על אנגלית ומקורות בינלאומיים כמו ויקיפדיה, אמזון ו־DBLP. שימוש מול טבלאות בעברית ידרוש איסוף נתונים מקומי או בדיקת התנהגות המודל מול קלטים מתורגמים.
מאיפה הגיעו הנתונים שבמאגר?
הנתונים משלבים מאגרי מחקר קיימים ומערכי נתונים סינתטיים. הבדיקות מבוססות ברובן על מקורות מוכרים מקהילת המחקר, בעוד שרוב האימון בנוי מדוגמאות סינתטיות שנוצרו בקוד עבור המשימות הספציפיות.
האם הדאטהסט זהה לחלוטין למה שפורסם במאמר מ־SIGMOD?
לא באופן מלא. החוקרים ציינו במפורש שהם נאלצו להסיר זמנית חלק מהנתונים הסינתטיים ששימשו במחקר המקורי בגלל מגבלות רישוי. עם זאת, הקוד ליצירת נתונים נוספים זמין במאגר הקוד הפתוח של מיקרוסופט.
איך טוענים
הנתונים מסודרים בקובצי JSONL לפי תיקיות של אימון, בדיקה ואימון מורחב. יש קבצים מאוחדים לכלל המשימות, לצד קבצים נפרדים לכל משימה. המאגר כולל 47 קבצים וזמין להורדה ישירה ללא צורך באישור גישה מוקדם.
כל שורה בקובץ מייצגת רשומה יחידה ומכילה את שם המשימה, שם דאטהסט המקור, שדות prompt ו־completion, מבנה messages שמתאים למודלי שיחה, ושדה metadata עם מידע נוסף.
from datasets import load_dataset
ds = load_dataset("LipengCS/Table-GPT")הרישיון
הפרויקט מפורסם תחת רישיון MIT. הרישיון מתיר שימוש מסחרי, שינוי והפצה, ואינו מחייב שיתוף של תוצרים או מודלים באותו רישיון, כל עוד שומרים על הודעת זכויות היוצרים המקורית.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש