GPT
הוספת כלי
E

electra-base-discriminator

קוד פתוח

googleapache-2.02022-03-02

  • transformers
  • pytorch
  • tf
  • jax
  • rust

אינקודר חכם שמאומן לזהות טוקנים מוחלפים במקום לנחש מילים מוסתרות. הוא נותן ייצוג טקסט חזק ומדויק במיוחד למשימות סיווג ותיוג באנגלית.

  • 512טוקנים בהקשר
  • 1.6 GBמשקל הקבצים
  • 58,093,106הורדות בחודש
  • 159לייקים

מה זה

גוגל אימנו את המודל הזה בגישה שונה מברט הרגיל. במקום להסתיר חלק מהטקסט ולנסות לשחזר אותו, הוא פועל כמבחין בדומה לרשת גאן ולומד לזהות אילו מילים במשפט הוחלפו במילים שרשת אחרת ייצרה. הגישה הזו מאפשרת לו ללמוד מכל טוקן ברצף ולא רק מחלק קטן מהם בכל צעד אימון.

בגודל בסיס עם 12 שכבות הוא מיועד למשימות הבנה ולא ליצירת טקסט חדש. הוא מתאים במיוחד לכוונון עדין במשימות כמו סיווג טקסטים, מענה על שאלות בנוסח סקוואד, ותיוג רצפים כמו חלוקת טקסט למקטעים. המודל מתמקד בהבנת מבנה ומשמעות, ולכן הביצועים שלו במשימות הערכה נחשבים גבוהים ביחס למשאבים שהושקעו בו.

מתאים ל

  • סיווג טקסט באנגלית

    אידאלי לכוונון עדין על מאגרי נתונים כמו גלו בזכות יכולת הבחנה מדויקת במשפטים.

  • מענה על שאלות מתוך טקסט

    מתאים למשימות הבנת הנקרא כמו סקוואד שבהן צריך לאתר את התשובה בתוך קטע נתון.

  • תיוג רצפים וחלוקה למקטעים

    מזהה מבנה פנימי של משפטים ורכיבים תחביריים ברמת הטוקן הבודד ביעילות גבוהה.

איפה זה נופל

הוא אומן רק על אנגלית, ולכן אם הטקסטים שלכם בעברית הוא פשוט לא רלוונטי. מעבר לזה, חלון ההקשר מוגבל ל־512 טוקנים, מה שחוסם עיבוד של מסמכים ארוכים ברצף אחד בלי לחתוך אותם. המודל גם לא מיועד לייצור טקסט חופשי או שיחה, אלא רק לבדיקת טוקנים ולהוצאת ייצוגים למשימות המשך.

שאלות
נפוצות

אפשר להשתמש בו לניתוח טקסטים בעברית?

לא. המודל אומן על אנגלית בלבד ומכיל אוצר מילים באנגלית, כך שהוא ייכשל לחלוטין על עברית.

הוא יכול לייצר טקסט או לכתוב תשובות כמו צ'אטבוט?

לא, הוא מוגדר כאינקודר מסוג מבחין שמנתח טוקנים קיימים ולא מייצר מילים חדשות. למשימות שיחה או כתיבה צריך מודלים יוצרים ולא את המודל הזה.

איך מריצים

טוענים אותו ישירות דרך ספריית טרנספורמרס באמצעות המחלקות של אלקטרה בפייתון. משקל הקבצים עומד על 1.6 גיגה בייט, כך שמדובר במודל קל מאוד שרץ בלי בעיה על מחשב פיתוח רגיל, מעבד סביר או כרטיס מסך בסיסי עם מעט זיכרון.

במשקל כזה אין שום סיבה לשלם על קריאות לשרת חיצוני אם צריך פרטיות או ביצועים מקומיים. אתם פשוט מריצים אותו מקומית או מעלים אותו למופע ענן זול, והוא מוכן להסקה או לתהליך כוונון עדין על הנתונים שלכם.

from transformers import pipeline

pipe = pipeline("text-generation", model="google/electra-base-discriminator")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 1.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הוא מופץ תחת רישיון אפאצ'י 2.0, שמאפשר שימוש מסחרי חופשי, שינוי של הקוד והפצה של המודל בתוך מוצרים. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי, בלי חובה לחשוף את הקוד הפנימי שלכם.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗