mxbai-edge-colbert-v0-32m

מה זה

מדובר במודל דמיון טקסטואלי ואחזור מבוסס ModernBERT עם עשר שכבות בלבד וכשלושים ושניים מיליון פרמטרים. בשונה ממודלי שיבוץ רגילים שדוחסים מסמך שלם לווקטור בודד, כאן מיושמת גישת ColBERT שמשמרת וקטור לכל טוקן בנפרד. זה מאפשר השוואה מפורטת בהרבה בין מילות השאילתה למילות המסמך בזמן חיפוש.

הוא מיועד לעבודה עם ספריית PyLate, ומביא יכולות חיפוש מתקדמות לתוך מעטפת זיכרון מינימלית. החידוש האמיתי הוא השילוב בין גודל פיזי קטנטן לבין חלון הקשר של כמעט שמונת אלפים טוקנים, מה שמאפשר להזין לו מסמכים ארוכים יחסית בלי לחתוך אותם לפסקאות קצרות.

מתאים ל

• חיפוש מקומי על מכשירי קצה

  המשקל הזעיר מאפשר להריץ מנוע חיפוש סמנטי מלא ישירות על מחשב נייד או תחנת קצה ללא חיבור רשת.

• שלב דירוג מחדש למסמכים

  מתאים לדירוג מדויק של עשרות תוצאות ראשוניות ממנוע חיפוש טקסטואלי, בלי להעמיס על המעבד.

• אחזור מסמכים ארוכים באנגלית

  תמיכה בעד שמונת אלפים טוקנים מאפשרת לחפש בחוזים או מאמרים שלמים בלי פיצול מורכב.

איפה זה נופל

הוא מוגדר לשפה האנגלית בלבד, כך שלטקסטים בעברית הוא פשוט לא רלוונטי. מעבר לזה, ארכיטקטורת ColBERT דורשת שמירה של וקטור עבור כל טוקן, מה שאומר שאינדקס החיפוש תופס נפח דיסק וזיכרון גדולים משמעותית בהשוואה למודלי שיבוץ סטנדרטיים. אם בסיס הנתונים כולל מיליוני מסמכים, עלויות האחסון של האינדקס יעלו מהר מאוד למרות שהמודל עצמו זעיר.

אותה משפחה

mxbai-edge-colbert יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

בזכות משקל קבצים של 286 מגה בלבד, אפשר להריץ אותו כמעט על כל מעבד מודרני בלי לחשוב בכלל על כרטיס מסך ייעודי. טוענים אותו ישירות דרך ספריית PyLate בפייתון, והוא עולה לזיכרון תוך שניות בודדות בלי שום תלות בתשתיות כבדות.

אין סיבה לשלם לספקי ענן על קריאות API עבור מודל כזה. שווה לצרוך שירות חיצוני רק אם אין לכם שום שרת ואתם עובדים בסביבת Serverless מוחלטת, אבל עבור כל יישום שרץ מקומית או בתוך קונטיינר, הרצה עצמית היא הבחירה הפשוטה והזולה.

pip install -U huggingface_hub
hf download mixedbread-ai/mxbai-edge-colbert-v0-32m

הקבצים

19 קבצים במאגר, 286 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.onnx131.5 MB
• model.safetensors127.5 MB
• model_int8.onnx33.2 MB
• tokenizer.json3.6 MB
• 2_Dense/model.safetensors2.4 MB
• 1_Dense/model.safetensors1.2 MB
• 3_Dense/model.safetensors196.7 KB
• README.md49.7 KB
• tokenizer_config.json21.2 KB
• .gitattributes1.5 KB
• config.json1.3 KB
• onnx_config.json803 B
• config_sentence_transformers.json760 B
• special_tokens_map.json581 B
• modules.json422 B
• 1_Dense/config.json160 B
• 2_Dense/config.json160 B
• 3_Dense/config.json159 B
• sentence_bert_config.json56 B

הרישיון

הוא מופץ תחת רישיון apache-2.0. אפשר להשתמש בו לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצרים סגורים ולהפיץ אותו חופשי, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗