mobilebert-uncased
קוד פתוחgoogleapache-2.02022-03-02
גרסה מכווצת של ברט שמיועדת לרוץ ישירות על מכשירי קצה וטלפונים. הוא נותן יכולות הבנה בסיסיות באנגלית בלי לטחון זיכרון או להזדקק לכרטיס מסך מפלצתי.
- 512טוקנים בהקשר
- 451 MBמשקל הקבצים
- 1,689,035הורדות בחודש
- 75לייקים
מה זה
גוגל לקחו את הרעיון של ברט לארג' ודחסו אותו למבנה צר בעזרת מנגנון צוואר בקבוק ואיזון מחדש בין שכבות תשומת הלב לרשתות ההזנה הקדמית. המודל שומר על עומק של עשרים וארבע שכבות, אבל מקצץ במשקל הכללי כדי להתאים לציוד חלש.
במקור הוא אומן על אנגלית בלבד באותיות קטנות למשימות מילוי מסכות, ומשמש בסיס להתאמה אישית למשימות סיווג, תיוג וחיפוש טקסט מקומי. הוא מתחרה ישיר במודלים כמו דיסטילברט, אבל בגישה הנדסית אחרת שמתמקדת בהקטנת רוחב השכבות במקום חיתוך מספר השכבות בחצי, מה שעוזר לו לשמור על יכולות ניתוח מורכבות יותר למרות הגודל.
התוצאה היא קובץ ששוקל 451 מגה בייט בסך הכל. זה אומר שאפשר לשלב אותו בתוך אפליקציות או להריץ אותו על מעבדים פשוטים בלי להקים תשתית שרתים יקרה.
מתאים ל
- סיווג טקסט על טלפונים
הוא קל מספיק כדי לרוץ מקומית באפליקציות מובייל לסינון הודעות או מיון תוכן באנגלית ללא רשת.
- השלמת מילים במשפטים
משמש לבדיקות דקדוק או חיזוי מילה חסרה במשפט קצר באנגלית בזכות ארכיטקטורת המסכה שלו.
- חילוץ מאפיינים פנימי
מייצר ייצוגים וקטוריים לטקסטים קצרים באנגלית עבור מנועי חיפוש קלים שרצים על חומרה חלשה.
איפה זה נופל
הוא מוגבל לחלון הקשר קצר של 512 טוקנים, כך שטקסטים ארוכים כמו מאמרים או מסמכים שלמים ייחתכו. בנוסף, המודל מיועד לאנגלית בלבד, ומתעלם לחלוטין מאותיות גדולות וקטנות. אם תזינו לו עברית תקבלו ג'יבריש או שגיאות, והוא לא מתאים בכלל ליצירת טקסט חופשי אלא רק להבנה והשלמת מילים.
שאלות
נפוצות
האם המודל תומך בעברית?
לא. המודל אומן על אנגלית בלבד בגרסת אותיות קטנות. כל ניסיון להזין לו עברית ייתקל בטוקנים לא מזוהים ותוצאות שגויות לגמרי.
האם הוא מתאים לצ'אט או לכתיבת תוכן?
לא, זהו מודל מקודד שמיועד להבנת טקסט ומילוי מילים חסרות. הוא לא יודע לייצר פסקאות המשך או לנהל שיחה כמו מודלים מסוג ג'נרטיבי.
איך מריצים
טוענים אותו ישירות דרך ספריית הטרנספורמרס של פייתון בשלוש שורות קוד, עם פייפליין סטנדרטי למילוי מסכות או כבסיס לטעינת משקלים למשימות אחרות. הוא עובד מצוין על מעבד רגיל של מחשב נייד או טלפון, ואין שום צורך בכרטיס מסך ייעודי כדי לקבל זמני תגובה טובים.
אם אתם צריכים רק לסווג פניות באפליקציה מקומית או לסנן טקסטים באנגלית על המכשיר, מריצים אותו מקומית וחוסכים עלויות שרתים. אם המטרה היא שיחה חופשית או הפקת טקסט ארוך, המודל הזה בכלל לא בכיוון ועדיף לפנות לפתרונות אחרים ברשת.
from transformers import pipeline
pipe = pipeline("text-generation", model="google/mobilebert-uncased")
print(pipe("שלום"))הקבצים
8 קבצים במאגר, 451 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
רישיון אפאצ'י שתיים אפס מאפשר שימוש חופשי, כולל שילוב במוצרים מסחריים ושינוי של קוד המקור והמשקלים. התנאי היחיד הוא שמירת הצהרת זכויות היוצרים של גוגל ומתן קרדיט כחוק.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים