osunlp/TableInstruct
קוד פתוחosunlpcc-by-4.02023-10-08
מאגר נרחב לאימון הוראות שמלמד מודלי שפה להבין, לנתח ולחלץ מידע מטבלאות מורכבות. הוא מאגד מעל שני מיליון וחצי דוגמאות ממגוון משימות טבלאיות כדי לחסוך איסוף ידני מפוזר.
- 325הורדות בחודש
- 31לייקים
מה זה
המאגר מאגד נתונים מ־14 מאגרי מקור שונים ומחלק אותם ל־11 משימות עיבוד טבלאיות. בין היתר תמצאו כאן שאלות ותשובות על גבי נתונים מובנים מתוך מקורות כמו FeTaQA ו־HiTab, לצד משימות תשתית קלאסיות יותר של זיהוי סוגי עמודות, קישור ישויות, חילוץ יחסים והשלמת שורות או עמודות חסרות. סך הכל מדובר על 2.6 מיליון רשומות אימון שנועדו לכסות מגוון רחב של מבנים וטבלאות מהעולם האמיתי.
המבנה של כל דוגמה מותאם לאימון מודלים במבנה הוראות סטנדרטי. הרשומות מגיעות בתבנית שמגדירה הוראה ספציפית, את תוכן הטבלה או ההקשר הרלוונטי כקלט, שאלה מכוונת במידת הצורך, ואת התשובה הנכונה. הנתונים עצמם שמורים בקובצי JSON מפוצלים לפי המשימה ומאגר המקור, מה שמאפשר לברור משימות מסוימות בלי לחייב שימוש בכל החבילה.
מתאים ל
- אימון מודל לשאלות על טבלאות
כוונון עדין של מודלי שפה לענות על שאלות מורכבות מתוך דוחות וגיליונות נתונים.
- זיהוי סוגי עמודות
בניית רכיב שמסווג באופן אוטומטי סוגי ישויות ועמודות בטבלאות לא מוכרות.
- השלמת נתונים חסרים
אימון מערכת להשלמה וחיזוי של שורות או עמודות חסרות בתוך מאגרי מידע טבלאיים.
איפה זה נופל
המאגר כולו באנגלית בלבד, ואין בו שום ייצוג לטבלאות בעברית או לערכים מקומיים. בנוסף, חלוקת המשימות אינה מאוזנת בעליל. משימות של קישור ישויות וסוגי עמודות מחזיקות מאות אלפי ומיליוני רשומות, בזמן שמשימות הבנה והסבר מורכבות כמו שאלות ותשובות מכילות אלפים בודדים בלבד. אם תאמנו על הכל ללא דגימה מכוונת, המודל ייטה בכבדות לעבר משימות התשתית ויזניח הבנה סמנטית עמוקה. הכרטיס גם לא מפרט סינון של תוכן פוגעני או פרטיות מתוך טבלאות המקור.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה למוצר מסחרי?
כן, הרישיון המוגדר הוא cc-by-4.0 שמתיר שימוש מסחרי מלא, כולל אימון מודלים שתמכרו כשירות. החובה העיקרית היא לתת ייחוס וקרדיט ליוצרים המקוריים של המאגר. עם זאת, מאחר שהנתונים נאספו מ־14 מקורות שונים, מומלץ לבדוק שאין החרגות ברישיונות הבסיס של אותם מאגרים.
האם יש במאגר תמיכה בטבלאות בעברית?
לא, המאגר מתועד וכולל דוגמאות בשפה האנגלית בלבד. כל ההוראות, השאלות והערכים בטבלאות מבוססים על מקורות דוברי אנגלית. אם אתם צריכים מודל שמבין טבלאות עם כותרות או נתונים בעברית, תצטרכו לתרגם את הנתונים או לאסוף דוגמאות ייעודיות.
איך הנתונים מאורגנים בפועל בקבצים?
המאגר מחולק לקובצי JSON נפרדים לפי משימות ומאגרי מקור, ולא מגיע כקובץ ענק אחד. שמות הקבצים כוללים את סוג המשימה ואת מספר השורות, למשל משימות קישור ישויות או שאלות ותשובות. זה מאפשר לכם להוריד רק את המשימות הספציפיות שרלוונטיות לפרויקט שלכם.
במה הוא שונה מדאטהסטים רגילים של שאלות ותשובות?
במקום להתמקד בטקסט חופשי, כל הדוגמאות כאן מבוססות על קלט של טבלה מובנית לצד הוראת ביצוע. בנוסף, הוא לא כולל רק שאלות ותשובות אלא מגוון רחב של משימות מבניות כמו איתור קשרים, סיווג עמודות והשלמת שורות. המטרה היא ללמד את המודל את המבנה של טבלה ולא רק לקרוא פסקאות.
איך טוענים
טוענים את הנתונים ישירות מ־Hugging Face, אין צורך בבקשת גישה מיוחדת. המאגר מכיל 29 קבצים, רובם קובצי JSON בתיקיית data_v3 שמחולקים לפי סוג המשימה וכמות הדוגמאות, כמו קובצי קישור ישויות עם יותר ממיליון רשומות או קובצי שאלות ותשובות קטנים יותר. המבנה בכל קובץ כולל הוראה, קלט טבלאי, שאלה ותגובה. בגלל נפח הדוגמאות הכולל, מומלץ לסנן מראש רק את הקבצים הרלוונטיים למשימה שלכם במקום להוריד ולטעון הכל לזיכרון בבת אחת.
from datasets import load_dataset
ds = load_dataset("osunlp/TableInstruct")הרישיון
המאגר מופץ ברישיון cc-by-4.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה של הנתונים, כולל אימון מודלים פנימיים או מסחריים. התנאי המרכזי הוא מתן קרדיט מתאים ליוצרים מאוניברסיטת אוהיו סטייט וציטוט המאמר המקורי. שימו לב שהנתונים נאספו מ־14 מאגרים נפרדים, ולכן כדאי לוודא שאין סתירה מול תנאי המקור של מאגרים אלה לפני שחרור מוצר מסחרי.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס