LFM2.5-ColBERT-350M

מה זה

זהו מודל אחזור שמבוסס על שיטת ColBERT, שבה במקום לייצר וקטור בודד לכל מסמך, הוא מייצר וקטור של 128 ממדים לכל טוקן ומבצע התאמה באמצעות MaxSim. הגישה הזו שומרת על פרטים קטנים שנוטים ללכת לאיבוד בדחיסה של בי־אינקודר רגיל, במחיר של אינדקס כבד יותר בדיסק ובזיכרון.

בבדיקות של NanoBEIR המודל מגיע לציון ממוצע של 0.605 לעומת 0.577 בגרסת הווקטור הבודד של אותה סדרה, והוא עוקף מודלים מתחרים ברוב השפות שנבדקו. באנגלית מודלים אחרים עדיין מובילים עליו במעט, אבל בשפות כמו ערבית, צרפתית ויפנית הוא מציג יתרון מורגש שמצדיק את הבחירה בו במערכות רב־לשוניות.

מתאים ל

• חיפוש בקטלוג מוצרים רב־לשוני

  שומר על שמות פריטים ומאפיינים מדויקים ב־11 שפות שונות בלי לפספס התאמות קטנות.

• שלב דירוג מחדש בצינור RAG

  מקבל עשרות פסקאות שנשלפו ממנוע קיים ומדרג אותן לפי רלוונטיות מדויקת לפני שליחה למודל שפה.

• חיפוש מקומי על מכשירי קצה

  משקל קבצים נמוך של 679 מגה־בייט מאפשר הרצה מהירה ישירות במחשב של המשתמש ללא שרת.

איפה זה נופל

החיסרון המרכזי כאן הוא גודל הקלט. חלון המסמך מוגבל ל־512 טוקנים בלבד, והשאילתות מוגבלות ל־32 טוקנים, מה שלא יתאים למי שמחפש מסמכים משפטיים ארוכים בלי לחתוך אותם לחתיכות קטנות מראש.

בנוסף, עברית כלל אינה נכללת ברשימת השפות הנתמכות, כך שלטקסטים מקומיים הוא לא יתאים. שמירת וקטור לכל טוקן גם מנפחת את גודל האינדקס בצורה משמעותית ביחס לבי־אינקודר פשוט.

איך מריצים

המודל שוקל 679 מגה־בייט בלבד ב־BF16, ולכן כל מעבד מודרני או מחשב מקומי יריץ אותו בקלות. בבדיקות על MacBook Pro עם שבב M4 Max בריצת llama.cpp קידוד שאילתה וחישוב MaxSim לקחו 8.2 מילי־שניות כשהמסמכים כבר מאונדקסים, ועל מעבדי GPU ארגוניים הזמנים יורדים לכ־2.5 מילי־שניות.

אפשר להריץ אותו מקומית דרך PyLate עם אינדקס FastPLAID או ישירות דרך ספריית Sentence Transformers מגרסה 6.0 ומעלה. אם אתם רק רוצים לדרג מחדש עשרות תוצאות ממנוע חיפוש קיים, עדיף להשתמש בפונקציית rerank בלי לבנות אינדקס שלם.

pip install -U huggingface_hub
hf download LiquidAI/LFM2.5-ColBERT-350M

הקבצים

15 קבצים במאגר, 679 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors706.7 MB
• tokenizer.json4.7 MB
• 1_Dense/model.safetensors262.2 KB
• tokenizer_config.json92.4 KB
• README.md15.7 KB
• LICENSE10.6 KB
• modeling_lfm2_bidirectional.py5.8 KB
• .gitattributes1.5 KB
• config.json1.4 KB
• chat_template.jinja1.3 KB
• config_sentence_transformers.json759 B
• special_tokens_map.json323 B
• modules.json216 B
• 1_Dense/config.json161 B
• sentence_bert_config.json57 B

הרישיון

המודל מפורסם תחת רישיון ייעודי בשם LFM Open License v1.0 ולא תחת רישיון קוד פתוח סטנדרטי כמו MIT או Apache. מי שמתכנן להטמיע אותו במוצר מסחרי צריך לבדוק היטב את תנאי הרישיון המקוריים באתר החברה ולוודא שאין שם הגבלות שימוש או חובת תשלום בהיקפים מסוימים.

הרישיון המלא בעמוד המודל ↗