electra-small-discriminator

מה זה

גוגל אימנו את המודל הזה בשיטה שונה ממה שהיה נהוג בברט. במקום להסתיר חלק מהמילים במשפט ולנסות לנחש אותן, רשת נפרדת החליפה חלק מהמילים, והמודל הזה אומן להצביע בדיוק על המילים המזויפות. בגלל שהוא מקבל משוב על כל מילה במשפט ולא רק על אחוז קטן מהן, האימון שלו יעיל בהרבה.

התוצאה היא משקל קובצי משקל של 156 מגה בייט בלבד עם 12 שכבות, שמביא יכולות ייצוג טקסט חזקות יחסית לממדים שלו. הוא מיועד לשמש בסיס לכוונון עדין למשימות כמו סיווג טקסטים, מענה על שאלות ותיוג רצפים, כשהוא דורש משאבים צנועים משמעותית ממודלים מלאים.

מתאים ל

• סיווג טקסטים באנגלית

  מתאים לכוונון עדין לזיהוי כוונות או ניתוח סנטימנט, כשרצים על חומרה זולה בלי לפגוע בדיוק.

• מערכות מענה על שאלות

  משמש לשליפת תשובות מתוך קטעי קריאה קצרים של עד 512 טוקנים באנגלית.

• תיוג רצפים וחלקי דיבור

  טוב למשימות של חלוקת משפטים לחלקים ותיוג ישויות במשאבי עיבוד מוגבלים.

איפה זה נופל

המודל אומן על אנגלית בלבד. אם תזרקו עליו עברית, הוא ייכשל לגמרי ולא יבין את הקלט. בנוסף, חלון ההקשר מוגבל ל־512 טוקנים, כך שאי אפשר להזין לו מסמכים ארוכים בבת אחת.

מעבר לזה, מדובר במבנה של discriminator ולא מודל שמייצר טקסט חופשי. אי אפשר לבקש ממנו לכתוב תשובות, לסכם פסקאות או לנהל שיחה.

איך מריצים

טוענים אותו ישירות דרך ספריית transformers בפייתון עם שורות קוד בודדות. בגלל המשקל הקטן, אין שום צורך בכרטיס מסך מפלצתי או בשרת ייעודי, ואפשר להריץ אותו בלי בעיה על מעבד רגיל של מחשב נייד או GPU בסיסי וזול.

אין שום היגיון לשלם ל־API חיצוני עבור מודל כזה. אתם יכולים לדחוף אותו ישירות לתוך הקוד של המוצר שלכם או לשים אותו בקונטיינר קטן בלי להרגיש אותו בחשבון הענן.

from transformers import pipeline

pipe = pipeline("text-generation", model="google/electra-small-discriminator")
print(pipe("שלום"))

הקבצים

9 קבצים במאגר, 156 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• tf_model.h554.5 MB
• pytorch_model.bin54.2 MB
• flax_model.msgpack54.2 MB
• tokenizer.json466.1 KB
• vocab.txt231.5 KB
• README.md2.2 KB
• config.json665 B
• .gitattributes391 B
• tokenizer_config.json48 B

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים סגורים. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗