tinyroberta-squad2
קוד פתוחdeepsetcc-by-4.02022-03-02
גרסה מזוקקת ומהירה למענה על שאלות מתוך טקסט, שרצה במהירות כפולה מול המקור. היא מיועדת למי שחייב שליפת תשובות מדויקת באנגלית בלי להחזיק שרתים כבדים.
- 82Mפרמטרים
- 514טוקנים בהקשר
- 625 MBמשקל הקבצים
- 193,403הורדות בחודש
מה זה
מדובר במודל שמחלץ תשובות ישירות מתוך קטע טקסט באנגלית. הוא נבנה באמצעות זיקוק של מודל הבסיס roberta-base בעזרת roberta-large, ומכיל שש שכבות בלבד. המטרה כאן ברורה, לחתוך בחצי את זמני הריצה תוך שמירה על איכות קרובה מאוד למקור הגדול.
במבחן SQuAD 2.0 הוא הגיע לציון F1 של 81.91 ודיוק מדויק של 78.69 אחוזים. הנתון המעניין באמת הוא היכולת שלו לזהות מתי אין תשובה בטקסט, שם הוא מגיע לציון של מעל 81 אחוזים. זה אומר שהוא יודע לשתוק כשהמידע חסר ולא רק לסמן קטע אקראי כדי לצאת ידי חובה.
מתאים ל
- שליפת תשובות מתיעוד טכני
חילוץ קטעי קוד או הגדרות ישירות מתוך מדריכים באנגלית במהירות גבוהה על גבי שרת מקומי.
- סינון תשובות בצ'אט ארגוני
בדיקה מהירה אם מאגר הידע מכיל מענה לשאלת המשתמש לפני שמפנים אותה לטיפול יקר יותר.
- הפעלת מנוע שאלות על מעבד
הרצה חלקה במערכות ללא חומרת GPU תוך שמירה על זמני תגובה נמוכים מאוד.
איפה זה נופל
הוא מוגבל לשפה האנגלית בלבד, כך שלטקסטים בעברית הוא פשוט לא מתאים. חלון ההקשר עומד על 514 טוקנים עם אימון על מקטעים של עד 384 טוקנים, מה שמחייב לחתוך מסמכים ארוכים למקטעים קטנים לפני הבדיקה.
בנוסף, הוא יודע רק לחלץ קטעי טקסט קיימים ולא לייצר תשובות במילים שלו. אם המידע דורש הסקת מסקנות או ניסוח מחדש, הוא יחזיר תשובה שגויה או יודיע שלא מצא דבר.
שאלות
נפוצות
האם אפשר להשתמש בו לטקסטים בעברית?
לא, המודל אומן ונבדק על נתונים באנגלית בלבד. אם תזינו לו טקסט בעברית תקבלו תוצאות לא שמישות או שגיאות טוקניזציה.
כמה זיכרון דרוש כדי להריץ אותו בייצור?
הקבצים שוקלים 625 מגה בייט, כך שפחות מגיגה בייט אחד של זיכרון RAM יספיק לטעינה ולעיבוד שוטף על מעבד סטנדרטי.
האם הוא מסוגל לסכם מסמכים או לנסח תשובה מחדש?
לא, זהו מודל חילוץ בלבד. הוא מסמן את נקודת ההתחלה והסיום של התשובה מתוך הטקסט שקיבל ולא יוצר מילים חדשות.
איך מריצים
טוענים אותו ישירות דרך ספריית transformers או בתוך תהליכי עבודה של Haystack. בגלל המשקל הקל שלו, 625 מגה בייט בסך הכול בדיוק float32, אין שום צורך בכרטיס מסך ייעודי כדי להריץ אותו בייצור.
הוא רץ חלק לגמרי על מעבד רגיל בכל מכונה פשוטה או קונטיינר בסיסי. אין סיבה לשלם על שירותי צד שלישי או API חיצוני עבור משימה כזו, כי התקורה של הרשת תעלה על זמן העיבוד המקומי של המודל.
from transformers import pipeline
pipe = pipeline("question-answering", model="deepset/tinyroberta-squad2")
print(pipe("שלום"))הקבצים
10 קבצים במאגר, 625 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
רישיון cc-by-4.0 מאפשר שימוש מסחרי מלא, שינוי והפצה של המודל ללא תשלום תמלוגים. התנאי היחיד הוא מתן קרדיט מתאים ליוצרים מבית deepset והצגת עותק של הרישיון במוצר שלכם.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס