GPT
הוספת כלי
B

bert-base-uncased

קוד פתוח

google-bertapache-2.02022-03-02

  • transformers
  • pytorch
  • tf
  • jax
  • rust

זה מודל דו כיווני ותיק להבנת אנגלית בלבד, שמתאים למי שצריך לחלץ ייצוגים לטקסט או לבצע סיווג מדויק. הוא לא מייצר תוכן אלא משלים מילים חסרות ומנתח משפטים.

  • 110Mפרמטרים
  • 512טוקנים בהקשר
  • 3.2 GBמשקל הקבצים
  • 48,848,285הורדות בחודש

מה זה

הבסיס כאן הוא מודל של 110 מיליון פרמטרים שאומן בשיטה דו כיוונית על טקסטים מויקיפדיה באנגלית וממאגר ספרים. הוא לא קורא מימין לשמאל כמו מודלים שמייצרים טקסט, אלא מסתכל על כל המשפט בבת אחת כדי להבין הקשר בין מילים ולנחש מילים מוסתרות.

בגרסה הזו אין הבדל בין אותיות גדולות לקטנות, וסימני ניקוד מושמטים מראש. המטרה המרכזית שלו היא לשמש בסיס להתאמה אישית, למשל סיווג רגשות או זיהוי כוונות. במבחני גלו הוא מגיע לממוצע של 79.6, כשהוא מציג תוצאות טובות יחסית במשימות של דמיון בין משפטים כמו קיו-אן-אל-אי עם 90.5, אבל מתקשה במשימות של קבילות דקדוקית כמו קו-לה שבה קיבל רק 52.1.

מתאים ל

  • סיווג טקסטים באנגלית

    הוא מנתח את כל המשפט יחד ומספק ייצוג מדויק למיון קטגוריות או זיהוי רגשות.

  • מענה על שאלות מתוך קטע

    הקריאה הדו כיוונית עוזרת לו לאתר תשובות מתוך פסקאות קצרות של עד 512 טוקנים.

  • השלמת מילים חסרות

    הוא אומן ישירות על ניחוש מילים מוסתרות לפי המילים שסובבות אותן.

איפה זה נופל

הוא לא מיועד ליצירת טקסט חופשי, ובשביל לכתוב פסקאות או לנהל שיחה תצטרכו ארכיטקטורה אחרת לגמרי. בנוסף, חלון ההקשר מוגבל ל־512 טוקנים, כך שטקסטים ארוכים ייחתכו. הוא מבין רק אנגלית, לא יודע להתמודד עם עברית, והאימונים שלו עלולים להוביל להטיות בתשובות.

שאלות
נפוצות

האם המודל הזה עובד בעברית?

לא. הוא אומן אך ורק על מאגרים באנגלית כמו ויקיפדיה האנגלית וספרים באנגלית. בשביל עברית צריך לחפש גרסה רב לשונית או מודל שאומן על עברית.

למה התוצאה שלו שונה בין מילים באותיות גדולות וקטנות?

הגרסה הזו היא אנקייסד, כלומר היא הופכת את כל הקלט לאותיות קטנות ומסירה סימנים מיוחדים. אם האותיות הגדולות חשובות לכם, למשל לצורך זיהוי שמות, צריך להשתמש בגרסת קייסד.

איך מריצים

טוענים את המשקלים דרך ספריית טרנספורמרס בפייתורץ' או בטנסורפלו. עם משקל כולל של כ־3.2 גיגה-בייט ו־110 מיליון פרמטרים, אפשר להריץ אותו בלי בעיה על מעבד רגיל של מחשב נייד או כרטיס גרפי בסיסי מאוד.

אם אתם צריכים לאמן אותו מחדש על דאטה שלכם, עדיף להשתמש במאיץ גרפי פשוט כדי לחסוך זמן. אין שום סיבה לשלם לספק חיצוני על קריאות שרת עבור מודל בגודל כזה, פשוט תארחו אותו בעצמכם.

from transformers import pipeline

pipe = pipeline("fill-mask", model="google-bert/bert-base-uncased")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 3.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

רישיון אפאצ'י 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו בתוך מוצר סגור, בלי לשלם תמלוגים. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗