GPT
הוספת כלי
M

mdbr-leaf-ir

קוד פתוח

MongoDBapache-2.02025-08-08

  • sentence-transformers
  • onnx
  • safetensors
  • bert
  • feature-extraction

יש כאן גם סקירה על MongoDB עצמו.

מודל שיעבוד טקסט קטנטן שמיועד לשליפת מידע במערכות RAG. הוא נותן ביצועי אחזור שעוקפים מודלים כבדים בהרבה, תוך שמירה על זמן תגובה אפסי.

  • 23Mפרמטרים
  • 512טוקנים בהקשר
  • 322 MBמשקל הקבצים
  • 210,146הורדות בחודש

מה זה

מדובר במודל שמבוסס על שש שכבות של MiniLM ומכיל 23 מיליון פרמטרים בלבד, שפותח במעבדת המחקר של מונגו דיבי. המטרה שלו ממוקדת לגמרי: לקחת שאילתות ומסמכים ולהמיר אותם לווקטורים לצורך חיפוש סמנטי. להבדיל ממודלים כלליים שמנסים להתמודד עם סיווג או סיכום, כאן אימנו אותו בשיטת זיכוך מתוך snowflake-arctic-embed-m-v1.5 במיוחד למשימות אחזור.

במבחן BEIR המודל רושם ציון ממוצע של 53.55, מה ששם אותו במקום הראשון בקטגוריה של מודלים עד 100 מיליון פרמטרים. בפועל הוא עוקף מודלים מוכרים כמו text-embedding-3-small של OpenAI ומשאיר מאחור את רוב המתחרים הקלים, כשבמצב עבודה אסימטרי התוצאה שלו עולה ל־54.03.

מתאים ל

  • שליפת הקשר למערכות RAG

    אידיאלי לשלב שליפת המידע באנגלית, כשרוצים לספק תשובות מהירות ומדויקות בלי להעמיס על התשתית.

  • קידוד שאילתות בזמן אמת

    מתאים לשרתים בעלי משאבים נמוכים שצריכים להמיר שאילתת חיפוש של משתמש לווקטור באפס שיהוי.

  • חיפוש מקומי בדפדפן

    בזכות התמיכה ב־Transformers.js והמשקל הקל, אפשר לחשב איתו וקטורים אצל המשתמש ללא שרת.

איפה זה נופל

החיסרון המרכזי כאן הוא השפה: המודל אומן על אנגלית בלבד. אם תזינו לו עברית, הוא פשוט לא יעבוד. בנוסף, חלון ההקשר מוגבל ל־512 טוקנים, מה שאומר שחייבים לפרק מסמכים לפסקאות קצרות ולא ניתן להשליך אליו טקסטים שלמים בבת אחת. מונגו דיבי מבהירים במפורש שהוא מיועד אך ורק לשליפת מידע, ולא יתאים למי שמחפש סיווג טקסטים או דמיון סמנטי גנרי.

שאלות
נפוצות

האם כדאי להשתמש בו לאפליקציה בעברית?

לא. המודל תומך באנגלית בלבד. הרצה של טקסטים בעברית תניב וקטורים חסרי משמעות ואיכות אחזור גרועה.

איך המודל הזה חוסך מקום במסד הנתונים הווקטורי?

הוא תומך בקיצוץ ממדים באמצעות MRL ובקוונטיזציה לפורמטים כמו int8 או בינארי. זה מאפשר לדחוס את הווקטורים לנפח אחסון מינימלי בלי פגיעה מורגשת בתוצאות השליפה.

איך מריצים

בגלל הגודל המזערי שלו, כ־322 מגה בייט בלבד, מריצים אותו ישירות מתוך ספריית sentence-transformers בפייתון או דרך transformers.js בסביבת דפדפן ו־Node.js. כל מעבד מודרני מריץ אותו בלי שום צורך בכרטיס מסך ייעודי, כך שאין שום סיבה להחזיק תשתית ענן מורכבת.

המודל בנוי לעבוד גם בתצורה אסימטרית: אפשר לאנדקס מסמכים פעם אחת עם המודל הגדול של Snowflake, ולהשתמש במודל הקטן הזה רק כדי לייצר וקטור לשאילתת המשתמש בזמן אמת. לשלם על API חיצוני בשביל משימות כאלה זו שריפת כסף, אלא אם אתם לא רוצים לנהל שרתים בכלל.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("MongoDB/mdbr-leaf-ir")
v = m.encode(["שלום עולם"])

הקבצים

28 קבצים במאגר, 322 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון אפאצ'י 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצרים פנימיים או למכור שירותים שמריצים אותו, כל עוד שומרים על הודעת זכויות היוצרים ומצהירים על השינויים שבוצעו.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗