GPT
הוספת כלי
T

tapas-large-finetuned-wtq

קוד פתוח

googleapache-2.02022-03-02

  • transformers
  • pytorch
  • tf
  • safetensors
  • tapas

מודל ייעודי למענה על שאלות מתוך טבלאות נתונים באנגלית. אם אתם צריכים לחלץ תשובות מטבלה בלי להפעיל מודל שפה ענק ויקר, הוא עושה בדיוק את זה.

  • 337Mפרמטרים
  • 1,024טוקנים בהקשר
  • 3.8 GBמשקל הקבצים
  • 9,530הורדות בחודש

מה זה

הארכיטקטורה מבוססת על BERT עם התאמות מיוחדות שמבינות מבנה של שורות ועמודות. מעבר לאימון השפה הרגיל, הוסיפו לו שלב אימון ביניים שנועד לפתח יכולות חישוב והסקה מספרית מעל נתונים, ולאחר מכן אימנו אותו ספציפית על מאגרי שאלות מטבלאות כמו WikiSQL ו־WTQ.

בגרסה הזו הוסיפו ראש לבחירת תאים וראש לביצוע פעולות אגרגציה, כמו סכימה או ממוצע. מבחינת ביצועים, כרטיס המודל מציג דיוק של 0.5097 במבחן WTQ בגרסת ברירת המחדל. זה הציון הגבוה ביותר מבין כל הגדלים של המשפחה הזו, אבל במספרים מוחלטים זה אומר שהוא עונה נכון רק על כמחצית מהשאלות המורכבות במבחן.

מתאים ל

  • תשאול טבלאות קצרות

    חילוץ נתונים אוטומטי מתוך טבלאות באנגלית עם מענה ישיר לשאלות נקודתיות.

  • חישובי אגרגציה בסיסיים

    ביצוע פעולות כמו סכימה או ממוצע על עמודה בודדת מתוך נתונים טבלאיים.

  • אימות טענות מול גיליון

    בדיקה האם נתון מסוים בטבלה מאמת או סותר משפט שנשאל באנגלית.

איפה זה נופל

המגבלה הכי כואבת היא שהוא מוגדר לבחור תאים מעמודה אחת בלבד בכל שאילתה, בגלל הטיה מכוונת במבנה שלו. אם השאלה דורשת להצליב תאים מעמודות שונות, הוא פשוט לא מיועד לכך.

בנוסף, האימון נעשה באנגלית בלבד, כך שטבלאות ושאלות בעברית לא יעבדו כאן. חלון ההקשר עומד על 1,024 טוקנים, ובזמן האימון הוגבל ל־512, מה שאומר שטבלאות גדולות או רחבות מדי ייחתכו ולא ייכנסו למודל במלואן.

שאלות
נפוצות

האם המודל תומך בטבלאות בעברית?

לא. המודל אומן על טקסטים מוויקיפדיה באנגלית בלבד עם מילון WordPiece של 30,000 מונחים באנגלית. הוא לא יזהה עברית בצורה תקינה.

מה ההבדל בין גרסת ברירת המחדל לגרסת no_reset?

ההבדל טמון בחישוב מיקומי המילים. גרסת ברירת המחדל מאפסת את אינדקס המיקום בכל תא ומגיעה לדיוק של 0.5097, בעוד גרסת no_reset משתמשת במיקום רציף ומשיגה דיוק של 0.5062.

איך מריצים

טוענים אותו ישירות דרך ספריית transformers של פייתון באמצעות המחלקה TapasForQuestionAnswering. עם משקל של כמעט 4 גיגה בייט ו־337 מיליון פרמטרים, אפשר להריץ אותו בקלות על מעבד גרפי פשוט עם 6 עד 8 גיגה זיכרון, ואפילו על מעבד רגיל אם זמני התגובה פחות קריטיים לכם.

קיימות שתי גרסאות צ'קפוינט למודל: ברירת המחדל שמאפסת את אינדקס המיקום בכל תא בטבלה, וגרסת no_reset שמשתמשת במיקום אבסולוטי ומגיעה לדיוק מעט נמוך יותר של 0.5062. אם נפח השאילתות שלכם קטן, פנייה ל־API חיצוני תחסוך את כאב הראש של תחזוקת השרת, אבל בגלל המשקל הקל יחסית, הרצה מקומית לגמרי בהישג יד.

from transformers import pipeline

pipe = pipeline("table-question-answering", model="google/tapas-large-finetuned-wtq")
print(pipe("שלום"))

הקבצים

9 קבצים במאגר, 3.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים סגורים. הדרישה העיקרית היא שמירה על הודעת זכויות היוצרים וציון השינויים שביצעתם בקוד או במשקלים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗