GPT
הוספת כלי
D

distilbert-base-uncased

קוד פתוח

distilbertapache-2.02022-03-02

  • transformers
  • pytorch
  • tf
  • jax
  • rust

גרסה מכווצת ומהירה של ברט המקורי שמיועדת להשלמת מילים ואימון למשימות ספציפיות. הוא מתאים למי שחייב ביצועים מהירים באנגלית בלי להעמיס על השרת.

  • 67Mפרמטרים
  • 512טוקנים בהקשר
  • 1.4 GBמשקל הקבצים
  • 7,178,154הורדות בחודש

מה זה

המודל אומן בשיטת זיכוך ישירות מול ברט המקורי כמורה, על טקסטים מויקיפדיה באנגלית ומאגר ספרים לא מקוון. המטרה היתה לחקות את התפלגות ההסתברויות ומצבי ההטמעה של המודל הגדול, כך שהוא מפיק ייצוג דו-כיווני של משפטים תוך שימוש בפחות משאבים.

במבחני גלו הוא מציג ציונים סבירים למדי לממדיו, כמו 91.3 ב־SST-2 לניתוח סנטימנט ו־89.2 ב־QNLI, אבל מתקשה במשימות היקש לשוני מורכבות יותר כמו CoLA שבו קיבל 51.3 בלבד ו־RTE עם 59.9. השימוש העיקרי בו הוא נקודת מוצא להתאמה אישית למשימות כמו סיווג טקסטים או מענה על שאלות, ולא כפתרון מוכן שעומד בפני עצמו.

מתאים ל

  • סיווג טקסטים מהיר

    אימון נוסף קצר מאפשר לסווג פניות או רגשות באנגלית בזמני תגובה אפסיים.

  • חילוץ ישויות ותיוג

    זיהוי חלקי דיבר או שמות בתוך משפט בודד בעלות חישובית נמוכה מאוד.

  • השלמת מילים חסרות

    מילוי ביטויים ספציפיים בתוך תבניות טקסט מוגדרות מראש באנגלית.

איפה זה נופל

הוא לא יודע לייצר טקסט חופשי, ואם תנסו לכתוב איתו שיחות או מאמרים תקבלו שטויות מוחלטות. חלון ההקשר שלו מוגבל ל־512 טוקנים בלבד, כך שטקסטים ארוכים ייחתכו. בנוסף, הוא עובד רק באנגלית, הופך הכל לאותיות קטנות ללא הבדל בין אות גדולה לקטנה, וסוחב איתו הטיות מובנות מנתוני האימון של המודל המקורי.

שאלות
נפוצות

האם הוא מבין עברית?

לא. המודל אומן אך ורק על אנגלית ואינו כולל אוצר מילים בעברית. נסיון להזין לו עברית יוביל לתוצאות שגויות או טוקנים שבורים.

האם הוא יכול לשמש כצ'אטבוט לשירות לקוחות?

לא, הוא אינו מודל יוצר כמו אלה ממשפחת GPT. הוא מנחש מילים מוסתרות או מחלץ מאפיינים, ולא יודע לנהל שיחה.

האם עדיף להשתמש בו או בברט המלא?

אם שרת ההסקה שלכם מוגבל במשאבים או שזמן התגובה קריטי, המודל הזה מספק פשרה טובה מאוד. אם הדיוק במשימות הבנה מורכבות הוא בראש סדר העדיפויות, המודל המלא עדיף.

איך מריצים

טוענים אותו ישירות דרך ספריית טרנספורמרס בפייתון עם פייפליין של השלמת מסיכה, או בונים מעליו שכבה ב־PyTorch או TensorFlow. המשקל שלו הוא 1.4 גיגה-בייט והוא מחזיק כמעט 67 מיליון פרמטרים, מה שאומר שאפשר להריץ אותו בקלות על כל מעבד רגיל של שרת או מחשב פיתוח בלי להזמין מעבדי GPU יקרים.

אם אתם צריכים רק להסיק ממנו מדי פעם תובנות, אין שום סיבה לשלם על API חיצוני. המודל קל מספיק כדי לשבת בתוך התהליך שלכם בצד השרת בלי שתרגישו פגיעה בזיכרון או בזמני התגובה.

from transformers import pipeline

pipe = pipeline("fill-mask", model="distilbert/distilbert-base-uncased")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 1.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא אפאצ'י שתיים אפס. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד והמשקלים, ולשלב אותו במוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗