distilbert-base-uncased-distilled-squad

מה זה

מדובר במודל שזוקק ישירות מתוך BERT ועבר התאמה על מאגר SQuAD v1.1 למשימות של מענה על שאלות. התפקיד שלו הוא לקבל קטע טקסט ושאלה באנגלית, ולסמן במדויק את המיקום שבו נמצאת התשובה בתוך המלל הקיים. הוא לא מייצר טקסט חדש, אלא רק שולף קטעים קיימים.

במבחן SQuAD המודל מגיע לציון F1 של 86.9, לעומת 88.5 של המודל המלא. בפועל זה אומר שאתם מוותרים על פחות משתי נקודות דיוק בתמורה לקיצוץ של 40% במספר הפרמטרים ומהירות ריצה גבוהה בשישים אחוז, בלי לפגוע כמעט ביכולת שליפת התשובות.

מתאים ל

• חילוץ מידע ממסמכים

  שליפת עובדות ספציפיות מקטעי טקסט קצרים באנגלית בלי להפעיל מודל ענק.

• מענה לשאלות באפליקציות קצה

  ריצה מקומית ומהירה על מעבד רגיל בתוך מכשיר או שרת חסכוני במשאבים.

• מנוע עזר לבוטים

  מציאת התשובה המדויקת מתוך מאגר שאלות ותשובות לפני שמחזירים אותה למשתמש.

איפה זה נופל

הוא מוגבל לקלט של 512 טוקנים, כך שאי אפשר לזרוק עליו מסמכים שלמים בלי לחתוך אותם קודם. הוא עובד באנגלית בלבד ולא מתאים לעברית. בנוסף, הוא אומן על גרסה 1.1 של SQuAD, שבה תמיד יש תשובה בטקסט, ולכן אם תשאלו שאלה שאין לה מענה הוא עדיין ינחש קטע כלשהו ויחזיר עליו ציון. כפי שהיוצרים מציינים, הוא גם מציג הטיות חברתיות, למשל ניחוש של דמויות גבריות בתפקידי ניהול מתוך הקשרים ניטרליים.

איך מריצים

טוענים אותו ישירות דרך ספריית transformers בתוך פייתון באמצעות pipeline למענה על שאלות, או בקוד מפורט של PyTorch או TensorFlow. עם 66 מיליון פרמטרים ומשקל קבצים של 1.8 גיגה בייט, אתם מריצים אותו בקלות על מעבד רגיל של שרת זול, מחשב נייד או אפילו מכשירי קצה, בלי צורך בכרטיס מסך ייעודי.

אין סיבה לשלם על קריאות API חיצוניות של מודלים ענקיים כשכל מה שצריך זה לחלץ משפט מתוך מסמך קצר באנגלית. אתם מקבלים שליטה מלאה בשרת שלכם וזמני תגובה של אלפיות שניה בלי עלויות שימוש פר קריאה.

from transformers import pipeline

pipe = pipeline("question-answering", model="distilbert/distilbert-base-uncased-distilled-squad")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 1.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• tf_model.h5265.6 MB
• coreml_model.mlmodel265.5 MB
• pytorch_model.bin265.5 MB
• model.safetensors265.5 MB
• 384.tflite265.3 MB
• saved_model.tar.gz244.8 MB
• coreml_model_fp16.mlmodel180.5 MB
• 384-fp16.tflite132.8 MB
• 384-8bits.tflite67.6 MB
• tokenizer.json466.1 KB
• vocab.txt231.5 KB
• README.md11.0 KB
• config.json451 B
• .gitattributes445 B
• tokenizer_config.json48 B

הרישיון

הוא מופץ תחת רישיון apache-2.0, שמאפשר שימוש מסחרי חופשי לגמרי, שינוי הקוד והפצה פנימית או חיצונית במוצר שלכם. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקוד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗