modernbert-embed-base

מה זה

המודל הזה מבוסס על ארכיטקטורת ModernBertModel ומיועד למשימות דמיון בין טקסטים ואחזור מידע. בעוד שרוב מודלי ה־BERT הקלאסיים נחנקים אחרי 512 טוקנים, כאן הגבול נמתח ל־8,192 טוקנים בתוך 22 שכבות ומשקל צנוע יחסית. זה אומר שאפשר לבלוע מאמרים שלמים, תלונות לקוחות ארוכות או מסמכים טכניים בלי לחתוך אותם למקטעים קטנים שמאבדים הקשר.

מבחינת ביצועים במבחני MTEB, הוא מציג תמונה מעורבת שחשוב להבין. בסיווג פולאריות של ביקורות הוא פוגע מצוין עם דיוק של 93.09%, אבל בסיווג מורכב יותר של ביקורות רגילות הוא צונח ל־48.42%. באחזור מידע במבחן ArguAna הוא מגיע ל־Recall של 78.52% בעשירייה הראשונה, כך שכדי לקבל תוצאות טובות באמת צריך לאחזר כמות נדיבה של מועמדים.

מתאים ל

• חיפוש סמנטי במסמכים ארוכים

  חלון של 8,192 טוקנים מאפשר להמיר מסמכים שלמים לווקטור אחד בלי לאבד את ההקשר הכללי.

• ניתוח סנטימנט באנגלית

  הדיוק שלו בסיווג קוטביות עומד על 93.09%, מה שמספיק בהחלט למיון פידבקים וביקורות.

• הרצה מקומית על מחשבי קצה

  הוא תומך ב־transformers.js ושוקל מעט, כך שאפשר להריץ אותו ישירות בדפדפן בלי שרת.

איפה זה נופל

הבעיה המרכזית שלו היא שפות. המודל אומן ותועד אך ורק באנגלית, כך שאם הדאטה שלכם מכיל עברית, הוא כנראה ייצר וקטורים חסרי משמעות וייכשל באחזור. מעבר לזה, תוצאות המדידה שלו בסיווג רב מחלקתי חלשות מאוד, והוא מתקשה לדייק כשיש יותר מדי אפשרויות דומות.

איך מריצים

בזכות משקל קבצים של 2.4 גיגה בייט בפורמט float32, אפשר להריץ אותו ישירות דרך ספריית sentence-transformers או אפילו בדפדפן ובסביבות קצה עם transformers.js. כל כרטיס מסך בסיסי עם 4 עד 6 גיגה זיכרון יחזיק אותו בקלות, וגם על גבי מעבד סביר הוא יספק זמני תגובה טובים אם כמות הבקשות מתונה.

מתי עדיף שירות ענן חיצוני. רק אם אתם בונים מערכת שצריכה לעבד אלפי מסמכים ארוכים במקביל בכל דקה, ואין לכם עניין לנהל שרתים וסקלביליות בעצמכם.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("nomic-ai/modernbert-embed-base")
v = m.encode(["שלום עולם"])

הקבצים

20 קבצים במאגר, 2.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• onnx/model.onnx596.5 MB
• model.safetensors596.1 MB
• onnx/model_fp16.onnx298.5 MB
• onnx/model_q4.onnx224.3 MB
• onnx/model_bnb4.onnx217.4 MB
• onnx/model_int8.onnx150.3 MB
• onnx/model_quantized.onnx150.3 MB
• onnx/model_uint8.onnx150.3 MB
• onnx/model_q4f16.onnx139.9 MB
• tokenizer.json3.6 MB
• modernbertembed.png1.3 MB
• README.md444.6 KB
• tokenizer_config.json20.8 KB
• .gitattributes1.6 KB
• config.json1.3 KB
• special_tokens_map.json694 B
• modules.json349 B
• 1_Pooling/config.json296 B
• config_sentence_transformers.json210 B
• sentence_bert_config.json54 B

הרישיון

הוא מופץ ברישיון apache-2.0 חופשי לחלוטין. מותר להשתמש בו במוצרים מסחריים, לשנות אותו, להריץ אותו בשרתים פרטיים ולמכור שירותים שמבוססים עליו, בלי לשלם תמלוגים. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗