bert-large-uncased-whole-word-masking-finetuned-squad
קוד פתוחgoogle-bertapache-2.02022-03-02
המודל הזה שולף תשובות ישירות מתוך טקסט באנגלית עם התאמה ייעודית למשימות שאלות ותשובות. הוא מתאים למי שחייב מודל מקומי ממוקד בלי להפעיל מודל שפה כבד.
- 335Mפרמטרים
- 512טוקנים בהקשר
- 6.2 GBמשקל הקבצים
- 39,820הורדות בחודש
מה זה
מדובר בגרסת הלארג' של ברט שעברה אימון מקדים בשיטת מיסוך מילים שלמות, ולאחר מכן כוונון עדין ישירות על מאגר סקוואד למענה על שאלות. במקום לנסות לייצר טקסט חופשי מאפס, הארכיטקטורה מקבלת שאלה וקטע מידע באנגלית, ומוצאת בדיוק את קטע הטקסט הרלוונטי שמכיל את התשובה.
ההבדל המרכזי מול ברט הבסיסי הוא המיסוך של מילים שלמות בזמן האימון על ויקיפדיה באנגלית ומאגר הספרים, מה שמכריח את המערכת להבין מושגים מורכבים יותר ולא רק חלקי מילים. במבחני ההערכה של סקוואד הוא מגיע לציון אף אחד של 93.15 ולהתאמה מדויקת של 86.91. בפועל זה אומר שברוב המוחלט של המקרים שבהם התשובה נמצאת בטקסט, הוא חותך את הגבולות שלה במדויק ברמת התו.
מתאים ל
- שליפת תשובות ממאמרי תמיכה
הוא מוצא במהירות את המשפט המדויק מתוך מסמך עזרה באנגלית כדי לענות ישירות על שאלת משתמש.
- חילוץ נתונים מחוזי עבודה
מתאים לזיהוי ערכים וסעיפים מוגדרים מתוך פסקאות קצרות באנגלית כשהמידע מופיע בטקסט במפורש.
- מנוע מענה לשאלות בארגון
משתלב במערכות פנימיות לחיפוש בבסיסי ידע באנגלית שרצות על שרתים מקומיים לשמירה על פרטיות.
איפה זה נופל
הוא תומך רק באנגלית ובאותיות קטנות, כך שאין שום תמיכה בעברית ואין הבחנה באותיות גדולות. חלון ההקשר מוגבל ל־512 טוקנים בסך הכול עבור השאלה והטקסט יחד, כך שאי אפשר להזין מסמכים ארוכים בבת אחת בלי לחתוך אותם מראש. בנוסף, המודל מחלץ תשובות מתוך הטקסט בלבד ולא מסוגל להסיק מסקנות שלא כתובות במפורש.
שאלות
נפוצות
האם המודל יודע לענות על שאלות בעברית?
לא. המודל אומן אך ורק על טקסטים באנגלית ומותאם לאותיות קטנות בלבד. טקסט בעברית ישבור את הטוקנייזר שלו ולא יניב תוצאות שמישות.
האם אפשר להזין לו קובץ שלם ולשאול עליו שאלה?
לא בבת אחת, כי חלון ההקשר מוגבל ל־512 טוקנים כולל השאלה עצמה. תצטרכו לחלק את המסמך לפסקאות קצרות עם חפיפה, ולבדוק אותן ברצף כדי לקבל את התשובה המתאימה.
איך מריצים
טוענים אותו ישירות דרך ספריית טרנספורמרס של פייתון לפייפליין של מענה על שאלות. עם 335 מיליון פרמטרים ומשקל קבצים של 6.2 גיגה בייט, כרטיס מסך בסיסי עם 8 עד 12 גיגה זיכרון מריץ אותו בלי מאמץ מיוחד, אבל הוא יעבוד גם על מעבד רגיל אם זמן התגובה לא קריטי.
אם יש לכם שרת מקומי עם מאיץ גרפי, ההרצה פשוטה מאוד וזולה. לעומת זאת, אם אתם בונים שירות שדורש סקייל רחב או תעבורה לא צפויה, שווה לשקול פנייה לנקודת קצה מנוהלת בענן במקום לתחזק שרת ייעודי רק עבורו.
from transformers import pipeline
pipe = pipeline("question-answering", model="google-bert/bert-large-uncased-whole-word-masking-finetuned-squad")
print(pipe("שלום"))הקבצים
11 קבצים במאגר, 6.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא אפאצ'י שתיים אפס, מה שאומר שמותר להשתמש בו לצרכים מסחריים בלי לשלם תמלוגים. אפשר לשלב אותו במוצרים סגורים, לשנות אותו ולהפיץ אותו, כל עוד שומרים על הודעת זכויות היוצרים המקורית והרישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים