TableBench
קוד פתוחMultilingual-Multimodal-NLPapache-2.02024-07-18
מבחן ביצועים של 886 שאלות מורכבות על נתונים טבלאיים. מתאים למי שרוצה לבדוק יכולות של מודלי שפה על משימות חישוב, ויזואליזציה וניתוח מעבר לשליפת מידע בסיסית.
- 1,137הורדות בחודש
- 31לייקים
מה זה
המאגר מכיל 886 דוגמאות מבחן שמיועדות לבדיקת מודלים על טבלאות. השאלות מחולקות לארבע קטגוריות ראשיות: בדיקת עובדות, היקש מספרי, ניתוח נתונים סטטיסטי וויזואליזציה, עם פירוק ל־18 תת קטגוריות שונות. כל רשומה מחזיקה מזהה, סיווגי שאלות, מבנה טבלה עם שמות עמודות וערכים, שאלה, תשובה נכונה וסוג תרשים במקרים של משימות גרפיות.
הנתונים מחולקים לשני חלקים עיקריים בקובצי JSONL. החלק הראשון הוא קובץ בדיקה ישיר למערכות TQA כלליות ללא הנחיות מובנות. החלק השני מספק את אותן שאלות בתוספת הנחיות פרומפט שונות שנועדו לבחון שיטות חשיבה מוגדרות: פרומפטינג ישיר, שרשרת מחשבה טקסטואלית, שרשרת מחשבה סימבולית ותוכנית מחשבה מבוססת קוד.
כרטיס הנתונים לא מפרט מאיזה מקורות רשת או מאגרים נאספו הטבלאות עצמן. המפתחים מציינים רק שהמקרים עברו סינון קפדני וסבב תיקוני שגיאות שפורסם בגרסה המעודכנת.
מתאים ל
- בנצ'מרק למודלי שפה
בדיקת יכולת המודל לעבד טבלאות ולפתור שאלות הדורשות חישובים וניתוח סטטיסטי.
- השוואת שיטות פרומפטינג
מדידת ביצועים בין שרשרת מחשבה טקסטואלית, קוד ופרומפט ישיר על אותן שאלות.
- בדיקת הפקת גרפים
הערכת היכולת של מערכות לבחור סוג תרשים מתאים מתוך נתונים טבלאיים.
איפה זה נופל
זהו סט מבחן קטן מאוד ולא דאטהסט לאימון. 886 מקרים מספיקים למדוד פערים בין מודלים, אבל לא לבניית מודל מאפס. בנוסף, כל המידע והשאלות כתובים באנגלית בלבד. מי שבונה מוצר בעברית או מנתח טבלאות בשפות שאינן אנגלית יצטרך לתרגם ולבדוק את ההתאמה בעצמו, כי אין כאן ייצוג למבנים מקומיים.
הכרטיס גם לא חושף את מקור הטבלאות, כך שקשה לדעת אם יש כאן הטיה לנושאים מסוימים כמו פיננסים או ספורט, ומתי הנתונים נאספו.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
כן, הרישיון הוא apache-2.0 שמתיר שימוש מסחרי מלא. צריך רק לכלול את הקרדיט והודעת הרישיון המקורית בקוד או בתוצר.
האם הדאטהסט כולל תמיכה בעברית?
לא, כל הנתונים, הטבלאות והשאלות במאגר הם באנגלית בלבד. אם המוצר מיועד לשוק המקומי, תצטרכו לבצע תרגום והתאמה באופן עצמאי.
כמה רשומות יש במאגר ואיזה נפח הוא תופס?
המאגר קטן מאוד וכולל בסך הכל 886 דוגמאות מבחן שנפרסות על פני שבעה קבצים. ההורדה מהירה מאוד וצורכת מגה בייטים בודדים בלבד.
האם המאגר מתאים לאימון מודלים?
לא, מדובר בסט בדיקה שמיועד להערכת ביצועים בלבד. גודל של 886 שאלות קטן מדי עבור אימון או כוונון עדין של מודל שפה.
איך טוענים
טוענים את הקבצים ישירות בפורמט JSONL, ללא צורך באישור גישה מיוחד או חתימה על תנאים. המאגר קטן מאוד, פחות מאלף רשומות המפוזרות על פני שבעה קבצים, כך שאין דרישות זיכרון חריגות וניתן לעבוד מקומית.
בטעינה כדאי לשים לב לשדה הטבלה שמגיע כמבנה נתונים פנימי עם עמודות ושורות, וכן לשדות qtype ו־instruction_type שמאפשרים לחתוך את הבדיקה לפי שיטת החשיבה או תחום השאלה הספציפי.
from datasets import load_dataset
ds = load_dataset("Multilingual-Multimodal-NLP/TableBench")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש חופשי כולל שימוש מסחרי, שינוי הקוד והפצה מחדש, בכפוף לשמירה על הצהרת זכויות היוצרים והודעת הרישיון המקורית. אין כאן דרישת שיתוף זהה, כך שניתן להעריך מערכות ומודלים מסחריים סגורים בלי לחשוף אותם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים