distilbert-base-cased-distilled-squad

מה זה

מדובר בגרסה מכווצת של ברט שעברה אימון ייעודי על מאגר שאלות ותשובות בשם SQuAD 1.1. הרעיון פשוט, הוא מקבל פסקה ושאלה באנגלית, ומצביע בדיוק על רצף המילים מתוך הפסקה שעונה על השאלה. הוא שומר על אותיות גדולות וקטנות, כך שהוא מתאים לטקסטים שבהם שמות של חברות, מותגים או שמות אנשים קריטיים להבנה.

במבחן התוצאה על ערכת הבדיקה של המאגר, הוא מגיע לציון F1 של 87.1 לעומת 88.7 של המודל המלא. הפער הזה קטן מאוד, נקודה וחצי סך הכול, אבל התמורה היא מודל עם 40% פחות פרמטרים שרץ 60% מהר יותר. למי שצריך חילוץ תשובות קלאסי ומקומי בלי לתחזק שרתים מנופחים, זו פשרה מצוינת.

מתאים ל

• חילוץ נתונים מטקסט באנגלית

  שולפים מונחים, שמות או תאריכים מתוך פסקאות קצרות במהירות גבוהה ועל גבי מעבד רגיל.

• מענה לשאלות על מסמכים

  סורקים תוצאות חיפוש או קטעי מידע ומציגים למשתמש בדיוק את המשפט שעונה לו.

• סיווג ושליפת מידע במכשיר קצה

  מריצים עיבוד שפה ישירות על מחשבים פשוטים בלי לשלוח נתונים החוצה ובלי לייקר עלויות.

איפה זה נופל

הוא לא מייצר טקסט חופשי, אלא רק מסמן נקודת התחלה וסיום בתוך הפסקה שסיפקתם לו. בנוסף, הוא אומן על גרסה ישנה של המאגר שבה תמיד יש תשובה בטקסט, ולכן כשתשאלו שאלה שאין לה מענה, הוא עדיין ינחש קטע כלשהו ויחזיר ציון ביטחון שגוי. הוא גם נוטה לקבע הטיות חברתיות, כמו ניחוש של דמות גברית כששואלים מיהו המנכ״ל, גם בלי ביסוס בטקסט.

איך מריצים

בגלל שיש לו רק 65 מיליון פרמטרים והוא שוקל 1.7 גיגה בייט, אפשר להריץ אותו ישירות דרך ספריית transformers בתוך פייתון או טנסורפלו בלי שום כרטיס מסך ייעודי. מעבד סטנדרטי לגמרי בשרת צנוע מחזיק אותו בקלות ומחזיר תשובות מהר.

אין סיבה לשלם לספקי ענן על API עבור מודל כזה. שווה לפנות ל־API חיצוני רק אם המוצר שלכם צריך תשובות מורכבות יותר שלא מנוסחות מילה במילה בתוך הטקסט, או אם היקף הפניות שלכם אפסי ואתם לא רוצים להחזיק תהליך רקע רץ.

from transformers import pipeline

pipe = pipeline("question-answering", model="distilbert/distilbert-base-cased-distilled-squad")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 1.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• tf_model.h5260.9 MB
• rust_model.ot260.8 MB
• pytorch_model.bin260.8 MB
• model.safetensors260.8 MB
• openvino_model.bin260.8 MB
• saved_model.tar.gz241.5 MB
• tfjs.tar.gz241.1 MB
• openvino_model.xml512.9 KB
• tokenizer.json435.8 KB
• vocab.txt213.4 KB
• README.md9.5 KB
• config.json473 B
• .gitattributes399 B
• tokenizer_config.json49 B

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו למוצרים מסחריים, לשנות אותו, להריץ אותו אצלכם ולהפיץ אותו חופשי. התנאי העיקרי הוא להשאיר את הצהרת זכויות היוצרים והרישיון המקורי בקוד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗