mxbai-edge-colbert-v0-17m

מה זה

מדובר במודל מדורג המבוסס על ModernBERT שכולל שבע שכבות בלבד וכ־17 מיליון פרמטרים. התפקיד שלו הוא לחשב דמיון בין טקסטים, בעיקר עבור משימות אחזור מידע שבהן רוצים דיוק גבוה יותר ממודלי הטמעה רגילים, אך בלי לשלם את המחיר הכבד של מודלים ענקיים.

הייחוד כאן הוא השילוב בין גודל קבצים זעיר של 150 מגה־בייט לבין חלון הקשר של 7,999 טוקנים. בדרך כלל מודלים בקטגוריית גודל כזו מוגבלים לטקסטים קצרים מאוד, וכאן מתאפשר עיבוד של מסמכים שלמים ישירות על מכשיר הקצה בלי לקטוע את התוכן.

מתאים ל

• חיפוש מקומי באפליקציות

  הוא קל מספיק כדי לרוץ על מחשב המשתמש בלי תלות בשרת חיצוני ובלי לפגוע בביצועים.

• שלב דירוג מחדש במערכות RAG

  משפר את דיוק התוצאות באנגלית לפני שליחתן למודל שפה, בעלות חישובית נמוכה במיוחד.

• אחזור מידע ממסמכים ארוכים

  חלון של 7,999 טוקנים מאפשר להזין פסקאות שלמות באנגלית בלי צורך בחיתוך אגרסיבי.

איפה זה נופל

החיסרון המרכזי עבור הקהל המקומי הוא השפה. המודל מאומן על אנגלית בלבד, ולכן הוא לא מתאים לעיבוד או חיפוש של טקסטים בעברית. בנוסף, למרות חלון ההקשר הנדיב, מדובר במודל של 17 מיליון פרמטרים, כך שהיכולת שלו להבין ניואנסים מורכבים בטקסט עדיין מוגבלת בהשוואה למודלים מלאים.

אותה משפחה

mxbai-edge-colbert יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו משתמשים בספריית PyLate, שמתמחה במודלי ColBERT מודרניים. עם גודל של 150 מגה־בייט אין צורך במאיצים גרפיים יקרים, והוא ירוץ בקלות על מעבד רגיל של שרת פשוט, מחשב נייד או אפילו רכיב חומרה ייעודי מקומי.

אין סיבה לשלם לספקי ענן על קריאות API חיצוניות בשביל מודל כזה. הוא קל מספיק כדי לשבת ישירות בזיכרון של התהליך שלכם, מה שחוסך זמני שיהוי של רשת ושומר על המידע בתוך התשתית שלכם.

pip install -U huggingface_hub
hf download mixedbread-ai/mxbai-edge-colbert-v0-17m

הקבצים

18 קבצים במאגר, 150 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.onnx68.0 MB
• model.safetensors67.2 MB
• model_int8.onnx17.2 MB
• tokenizer.json3.6 MB
• 1_Dense/model.safetensors524.4 KB
• 2_Dense/2_Dense/model.safetensors98.4 KB
• 2_Dense/model.safetensors98.4 KB
• README.md70.1 KB
• tokenizer_config.json21.2 KB
• .gitattributes1.5 KB
• config.json1.3 KB
• onnx_config.json803 B
• config_sentence_transformers.json760 B
• special_tokens_map.json581 B
• modules.json319 B
• 1_Dense/config.json133 B
• 2_Dense/config.json132 B
• sentence_bert_config.json57 B

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו כחלק ממוצר שלכם, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗