GPT
הוספת כלי
M

MiniLM-L12-H384-uncased

קוד פתוח

microsoftmit2022-03-02

  • transformers
  • pytorch
  • tf
  • jax
  • bert

microsoft עומדים גם מאחורי Sho, ויש עליו סקירה כאן.

גרסה מזוקקת וקומפקטית של ברט שמיועדת לסיווג טקסט והבנת שפה באנגלית. מקבלים ביצועים קרובים למקור בשליש מהגודל ובמהירות גבוהה בהרבה.

  • 512טוקנים בהקשר
  • 382 MBמשקל הקבצים
  • 78,811הורדות בחודש
  • 111לייקים

מה זה

מיקרוסופט יצרו את המודל הזה באמצעות זיקוק של מודל הבסיס UniLM v2 כדי לספק חלופה קלה ומהירה למודלי שפה סטנדרטיים. עם 33 מיליון פרמטרים בלבד וגודל קבצים של 382 מגה בייט, הוא מציע פתרון שמיועד להחליף את BERT ישירות בארכיטקטורה קיימת.

לפי נתוני הבדיקות בכרטיס, המודל מהיר פי 2.7 מברט בסיס, ובחלק ממבחני GLUE ומשימות הבנת הנקרא כמו SQuAD 2.0 הוא אפילו עוקף את מודל המקור הגדול ממנו. הוא שומר על דיוק כמעט זהה במשימות קלאסיות של סיווג, זיהוי כוונות וניתוח סנטימנט, ומאפשר לקצר משמעותית זמני השהיה בתהליכי עיבוד טקסט.

מתאים ל

  • סיווג טקסט מהיר באנגלית

    מתאים למיון מיילים ופניות תמיכה בזמן אמת בלי להעמיס על השרת.

  • ניתוח סנטימנט רזה

    נותן תוצאות ברמה של ברט מלא אבל רץ בקלות על חומרת מעבד פשוטה.

  • מענה על שאלות מתוך קטע

    מציג ציון גבוה במיוחד בבדיקות SQuAD 2.0 בהשוואה למודלים בגודל דומה.

איפה זה נופל

המודל מוגדר כ־uncased ומאומן על אנגלית בלבד, כך שטקסט בעברית או הבחנה באותיות גדולות וקטנות לא יעבדו כאן. מעבר לכך, מיקרוסופט מציינים במפורש שמדובר במודל בסיס שחייב אימון נוסף והתאמה למשימה שלכם לפני שתוכלו להשתמש בו במוצר. חלון ההקשר מוגבל ל־512 טוקנים, מה שפוסל ניתוח של מסמכים ארוכים ללא חלוקה מוקדמת.

שאלות
נפוצות

האם אפשר להשתמש במודל הזה לעברית?

לא. המודל אומן על אנגלית באותיות קטנות בלבד וטוקנייזר השפה שלו אינו מתאים לעברית. אם תזינו לו עברית, הוא ייכשל בפירוק המילים ולא תקבלו תוצאות שמישות.

האם הוא מוכן לעבודה מיד לאחר ההורדה?

לא. מדובר בנקודת ביקורת של מודל בסיסי שעבר אימון כללי. כדי שהוא יסווג נתונים או יענה על שאלות במערכת שלכם, חובה להעביר אותו שלב של כוונון עדין על הדאטה הספציפי שלכם.

איך מריצים

אין שום סיבה לשלם על API חיצוני למודל ששוקל פחות מ־400 מגה בייט. אתם טוענים אותו ישירות דרך ספריית transformers של פייתון, והוא רץ בקלות על מעבד רגיל של שרת פשוט או מחשב מקומי בלי שום צורך בכרטיס מסך ייעודי.

אם יש לכם שרת עם מעבד סביר, כוח המחשוב הנדרש להסקה הוא מינימלי. כרטיס מסך זול יעזור רק אם אתם מתכננים לאמן אותו מחדש על דאטה גדול או צריכים לקבל אלפי בקשות במקביל.

from transformers import pipeline

pipe = pipeline("text-classification", model="microsoft/MiniLM-L12-H384-uncased")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 382 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד והמשקלים מופצים תחת רישיון MIT. מותר להשתמש במודל לצרכים מסחריים, לשנות אותו, לצרף אותו לקוד סגור ולהפיץ אותו בתוך מוצר, בלי לשלם תמלוגים. התנאי היחיד הוא שמירת הודעת זכויות היוצרים ומלל הרישיון המקורי בקבצי הפרויקט.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗