distilbert-base-cased
קוד פתוחdistilbertapache-2.02022-03-02
גרסה מכווצת ומהירה של ברט ששומרת על אותיות גדולות וקטנות באנגלית. הבחירה המתבקשת למי שצריך מודל דו כיווני זול להרצה ולא רוצה לאבד שמות עצם.
- 66Mפרמטרים
- 512טוקנים בהקשר
- 1.1 GBמשקל הקבצים
- 171,632הורדות בחודש
מה זה
מדובר במודל שפותח באמצעות זיקוק ידע ישירות מגרסת הבסיס של ברט. הוא אומן על אותם מאגרי מידע בדיוק, ספרים ממאגר בוק-קורפוס וויקיפדיה באנגלית, במטרה לשחזר את ההסתברויות והייצוג הפנימי של מודל המקור אבל עם 66 מיליון פרמטרים בלבד.
בניגוד למודלי השפה המייצרים טקסט, המודל הזה קורא קלט דו כיווני של עד 512 טוקנים ומנחש מילים מוסתרות. ההבדל המרכזי כאן מול גרסאות אחרות של דיסטילברט הוא הרגישות לגודל האותיות. הוא לא הופך את כל הטקסט לאותיות קטנות, ולכן מתאים למשימות שבהן יש חשיבות לזיהוי שמות, מותגים וראשי תיבות באנגלית.
תוצאות המבחנים מראות דיוק של מעל 85 אחוז במשימות סיווג כמו זיהוי שאלות דומות וניתוח סנטימנט, אך ירידה לציון 47.2 במבחן הדקדוק קולה. הנתונים האלה מוכיחים שהוא שומר על רוב היכולת של המקור, אך מתקשה במבנים תחביריים מורכבים במיוחד.
מתאים ל
- סיווג טקסטים באנגלית
אימון שכבת סיווג עליונה לזיהוי כוונות או נושאים שבהם לאותיות גדולות יש משמעות קריטית.
- זיהוי ישויות ושמות
חילוץ שמות אנשים, חברות וארגונים שנשענים על אותיות גדולות באנגלית.
- השלמת מילים מוסתרות
ניבוי מילים חסרות בתוך משפט קיים במערכות עריכה ובדיקת הקשר.
איפה זה נופל
המודל מיועד לאנגלית בלבד ואינו תומך בעברית כלל. הוא מאומן למילוי מילים חסרות או לחילוץ ייצוגים, ולא מתאים ליצירת טקסט חופשי כמו מודלים מסוג ג'יפיטי. בנוסף, הוא סוחב איתו הטיות מובנות ממאגרי הטקסט שעליהם אומן מודל המקור, וציון של 47.2 במבחן קולה מעיד על קושי לשפוט תקינות לשונית עדינה.
שאלות
נפוצות
האם המודל מבין או תומך בטקסט בעברית?
לא. המודל אומן על ויקיפדיה באנגלית ומאגר ספרים באנגלית בלבד. אם תזינו לו טקסט בעברית הוא יחזיר תוצאות שגויות או טוקנים לא מזוהים.
מה ההבדל בין הגרסה הזו לגרסת אנקייסד?
גרסת הקייסד שומרת על הבחנה בין אותיות גדולות לקטנות באנגלית, למשל בין המילה שפה לשם המדינה. זה קריטי למשימות של זיהוי שמות וישויות אך דורש שהקלט יהיה כתוב עם אותיות גדולות נכונות.
איך מריצים
המשקל הכולל של הקבצים עומד על 1.1 גיגה בייט בלבד, כך שלא צריך מעבד גרפי ייעודי כדי להריץ אותו. מעבד רגיל בשרת פשוט או במחשב פיתוח יריץ אותו בקלות דרך ספריית טרנספורמרס בפייתורץ' או בטנסורפלו.
אין שום הצדקה לשלם לספק חיצוני על קריאות רשת עבור מודל כזה. עלויות המחשוב של הרצה מקומית הן אפסיות, וזמני התגובה יהיו טובים בהרבה כשאין תלות ברשת חיצונית.
from transformers import pipeline
pipe = pipeline("fill-mask", model="distilbert/distilbert-base-cased")
print(pipe("שלום"))הקבצים
10 קבצים במאגר, 1.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא אפאצ'י 2.0 המאפשר שימוש מסחרי מלא, שינוי של הקוד והפצה של המודל בתוך מוצרים סגורים. התנאי המרכזי הוא הכללת הצהרת זכויות היוצרים והרישיון המקורי בקוד או במוצר.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים