GPT
הוספת כלי
M

mmBERT-small

קוד פתוח

jhu-clspmit2025-08-21

  • transformers
  • pytorch
  • modernbert
  • fill-mask
  • aai

אינקודר רב־לשוני מודרני שתומך ביותר מ־1800 שפות וחלון הקשר של 8,192 טוקנים. הוא שוקל חצי גיגה בלבד, מה שהופך אותו לפתרון קל ומהיר למשימות סיווג וחיפוש.

  • 8,192טוקנים בהקשר
  • 554 MBמשקל הקבצים
  • 40,413הורדות בחודש
  • 84לייקים

מה זה

מדובר באינקודר דו־כיווני שנבנה על בסיס ארכיטקטורת ModernBERT, עם 140 מיליון פרמטרים בסך הכול, מתוכם רק 42 מיליון שאינם שכבת שיבוץ. הייחוד כאן הוא השילוב בין נפח זעיר לחלון הקשר ארוך במיוחד של 8,192 טוקנים, בשילוב תמיכה ב־Flash Attention 2.

הוא אומן על מעל שלושה טריליון טוקנים בשיטה הדרגתית, שבה שפות דלות משאבים הוכנסו בעיקר בשלב הסופי של האימון. היוצרים מדווחים על ביצועים שעוקפים את מודלי XLM-R הוותיקים בסיווג, שליפה ושיבוץ וקטורי, יחד עם מהירות ריצה גבוהה יותר בזכות הארכיטקטורה המעודכנת.

מתאים ל

  • סיווג טקסטים רב־לשוני

    מתאים למיון מסמכים מהיר בעשרות שפות שונות בלי לתפוס זיכרון בשרת.

  • חילוץ וקטורים למסמכים

    מייצר שיבוצים וקטוריים לטקסטים באורך של עד 8,192 טוקנים לחיפוש סמנטי.

  • הרצה מקומית על הקצה

    משקלו 554 מגה בלבד, מה שמאפשר להטמיע אותו במכשירי קצה ובשרתים זולים.

איפה זה נופל

זהו מודל מסוג אינקודר שמיועד למשימות חיזוי מילים מוסתרות, סיווג או הפקת וקטורים, ולא מודל יוצר טקסט. אי אפשר לנהל איתו שיחה או לייצר תשובות ארוכות. מעבר לכך, רוב הנפח שלו שמור לשכבת השיבוץ הענקית של 256,000 מונחים, כך שרשת הטרנספורמר עצמה צרה יחסית עם רוחב נסתר של 384 בלבד. תמיכה ביותר מ־1800 שפות נשמעת מרשימה, אך שפות עם מעט מאוד נתונים אומנו רק בחלון קצר של מאה מיליארד טוקנים בסוף, ולכן כדאי לבדוק לעומק את איכות הייצוג בשפה הספציפית שלכם לפני שנשענים עליו.

שאלות
נפוצות

האם המודל הזה מתאים לעבודה עם עברית?

המודל אומן על מעל 1800 שפות כולל מאגרי ענק כמו FineWeb2 וויקיפדיה, כך שיש לו בסיס רב־לשוני רחב. עם זאת, הכרטיס אינו מציג מדדים ייעודיים לעברית, ולכן צריך לבחון את איכות הייצוג במשימה המדויקת שלכם לפני שילוב במערכת פעילה.

מתי עדיף לבחור בגרסת base במקומו?

גרסת base מציעה רוחב נסתר של 768 ו־110 מיליון פרמטרים ברשת עצמה, לעומת 384 ו־42 מיליון בגרסה זו. אם הדיוק במשימות מורכבות קריטי ויש לכם מעט יותר משאבי זיכרון וחישוב, גרסת הבסיס תספק תוצאות עדיפות.

איך מריצים

המודל שוקל 554 מגה־בייט בלבד, ולכן אפשר להריץ אותו ישירות על מעבד רגיל בכל מחשב או שרת פשוט בלי לגעת במאיצים גרפיים יקרים. אם רוצים למקסם ביצועים או לאמן אותו הלאה, כל כרטיס מסך בסיסי יחזיק אותו בזיכרון בקלות.

בגודל כזה ובדרישות חומרה כה נמוכות, אין שום סיבה לשלם על API חיצוני. מריצים אותו מקומית דרך ספריית transformers הרגילה, ומרוויחים שליטה מלאה ופרטיות בלי עלויות שוטפות לפי קריאה.

from transformers import pipeline

pipe = pipeline("fill-mask", model="jhu-clsp/mmBERT-small")
print(pipe("שלום"))

הקבצים

7 קבצים במאגר, 554 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, לאמן עליו מודלים נוספים ולהפיץ אותו בתוך מוצרים סגורים. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים ונוסח הרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗