GPT
הוספת כלי
T

tapas-base-finetuned-wtq

קוד פתוח

googleapache-2.02022-03-02

  • transformers
  • pytorch
  • tf
  • tapas
  • table-question-answering

מודל ממוקד למענה על שאלות מתוך טבלאות נתונים באנגלית. הוא מאפשר לשלוף תאים ולבצע אגרגציות בסיסיות ישירות מטבלה שטוחה בלי להרים בסיס נתונים שלם.

  • 1,024טוקנים בהקשר
  • 845 MBמשקל הקבצים
  • 14,685הורדות בחודש
  • 236לייקים

מה זה

מדובר במודל מבוסס BERT שגוגל אימנה על טבלאות וויקיפדיה, עם שלב אימון ביניים ייעודי שנועד לפתח יכולות חישוב ומעקב אחרי קשרים מספריים. מעבר לזיהוי טקסט, יש לו ראש ייעודי לבחירת תאים וראש לחישובי אגרגציה, כך שהוא יודע להצביע על התשובה בתוך השורות או לסכם ערכים.

בגרסה הזו, שעברה כוונון על סט הנתונים WTQ אחרי מעבר ב־SQA ו־WikiSQL, הדיוק על סט הפיתוח עומד על 0.4638 בגרסת ברירת המחדל. זה אומר שבפועל, ביותר ממחצית מהמקרים במבחן הזה הוא מפספס את התשובה הנכונה. גרסת ה־LARGE המקבילה מגיעה לכ־0.5097, כך שהפשרה פה על גרסת ה־BASE נותנת מודל קל יותר במחיר של כמה אחוזי דיוק בודדים.

מתאים ל

  • תשאול טבלאות קצרות באנגלית

    שליפת נתונים וחישוב פשוט מתוך גיליונות נתונים מצומצמים שלא מצדיקים בניית מסד נתונים.

  • ניתוח מסמכי ויקיפדיה

    מענה אוטומטי על שאלות שהתשובה להן נמצאת בטבלה בודדת, בהתאם למידע שעליו המודל אומן מראש.

  • סינון ראשוני בצינור עיבוד

    זיהוי מהיר וזול של תאים רלוונטיים מתוך טבלה לפני העברה למערכת כבדה ומדויקת יותר.

איפה זה נופל

המגבלה הקשה ביותר היא הביצועים בפועל. עם דיוק של כ־46% על WTQ, אי אפשר להסתמך עליו למשימות שדורשות אמינות מוחלטת בלי בדיקה אנושית. מעבר לזה, המודל מאומן לבחור תאים מעמודה אחת בלבד בגלל הטיה מכוונת בארכיטקטורה, כך ששאילתות שדורשות הצלבה של נתונים מכמה עמודות שונות ייכשלו.

בנוסף, חלון ההקשר מוגבל ל־1,024 טוקנים, כאשר האימון עצמו בוצע עם אורך רצף מקסימלי של 512. טבלאות גדולות פשוט לא ייכנסו לכאן בלי חיתוך אגרסיבי. המודל גם אומן על אנגלית בלבד בטקסטים עם אותיות קטנות, ואינו תומך בעברית.

שאלות
נפוצות

האם המודל יודע לקרוא טבלאות בעברית?

לא. המודל אומן מראש על טקסטים באנגלית מוויקיפדיה עם אוצר מילים באנגלית שעבר המרה לאותיות קטנות בלבד. הוא לא מיועד לעבודה בעברית.

מה ההבדל בין גרסת ברירת המחדל לגרסת no_reset?

גרסת ברירת המחדל מאפסת את אינדקס המיקום בכל תא מחדש, מה שמאפשר לו להבין מבנה פנימי של עמודות בצורה יעילה יותר. במבחני הדיוק היא השיגה 0.4638 לעומת 0.4525 בגרסה ללא האיפוס.

האם אפשר לתשאל טבלה שמכילה מאות שורות?

לא באופן ישיר. חלון ההקשר מוגבל ל־1,024 טוקנים, ובאימון השתמשו ברצפים של עד 512 טוקנים, כך שטבלה גדולה תיחתך ותאבד מידע.

איך מריצים

המשקל הכולל של הקבצים עומד על 845 מגה-בייט בלבד, עם 12 שכבות בארכיטקטורת TapasForQuestionAnswering. אפשר להריץ אותו בקלות בספריית transformers על מעבד רגיל או על כרטיס מסך פשוט וזול, בלי צורך בזיכרון גרפי כבד.

למודל שתי גרסאות: ברירת המחדל מאפסת את אינדקס המיקום בכל תא בטבלה, בעוד שגרסת no_reset משתמשת במיקום מוחלט ורושמת דיוק נמוך יותר של 0.4525. אם אתם צריכים רק מענה מהיר פה ושם, קריאה ל־API חיצוני פותרת תחזוקה, אבל בגלל המשקל הקטן וההרצה המקומית הפשוטה, קל מאוד להחזיק אותו בתוך תשתית עצמאית.

from transformers import pipeline

pipe = pipeline("table-question-answering", model="google/tapas-base-finetuned-wtq")
print(pipe("שלום"))

הקבצים

8 קבצים במאגר, 845 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל שוחרר תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי של הקוד והמשקלים והפצה חופשית בתוך מוצרים. הדרישה העיקרית היא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים הרלוונטיים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗