LFM2-ColBERT-350M
קוד פתוחLiquidAIother2025-10-28
מודל אחזור בגישת Late Interaction שנועד לתת דיוק של דירוג מחדש במהירות גבוהה. הוא מתאים לחיפוש רב־לשוני כשצריך לשלוף מסמכים מדויקים בלי לשלם בזמני תגובה כבדים.
- 353Mפרמטרים
- 128,000טוקנים בהקשר
- 1.3 GBמשקל הקבצים
- 12,737הורדות בחודש
מה זה
מדובר במודל אחזור שמבוסס על ארכיטקטורת LFM2 ומשלב שכבות קונבולוציה ותשומת לב, במטרה לשמור על משקל נמוך ומהירות גבוהה. השיטה שלו מייצרת וקטור לכל טוקן במקום וקטור יחיד לכל המסמך, ואז משווה ביניהם באמצעות פונקציית MaxSim. זה שומר על רמת הדיוק שרואים בריראנקרים כבדים, בלי לגרור את אותה איטיות בחיפוש.
היתרון המרכזי שמוצג בכרטיס הוא היכולת להחזיק מסמכים בשפה אחת ולחפש אותם בשפה אחרת מתוך שמונה שפות נתמכות. בנוסף, המפתחים מדווחים על קצב הסקת מסקנות שמקביל למודלים קטנים ממנו פי 2.3, כך שהוא נותן מענה טוב יותר לפער המסורתי שבין איכות השליפה לביצועים בפועל.
מתאים ל
- חיפוש רב־לשוני בחנויות
מאפשר לשמור קטלוג מוצרים באנגלית ולתת ללקוחות לחפש אותו בשפות כמו ספרדית או ערבית בלי לתרגם מראש.
- אחזור מידע על מכשירי קצה
הגודל הקל מאפשר חיפוש סמנטי מקומי בהודעות, קבצים והערות בתוך טלפונים ומחשבים ניידים ללא חיבור רשת.
- שדרוג מנועי RAG ארגוניים
מחליף מודלי Embedding פשוטים כדי לדייק את שליפת המסמכים המשפטיים והטכניים לפני שלב יצירת התשובה.
איפה זה נופל
יש פה מגבלה קריטית למי שמפתח לקהל מקומי: עברית אינה מופיעה ברשימת השפות הנתמכות, שכוללת רק אנגלית, ערבית, סינית, צרפתית, גרמנית, יפנית, קוריאנית וספרדית. שימוש במודל לטקסטים בעברית עלול להיכשל לחלוטין. בנוסף, אורך המסמך מוגבל בפועל ל־512 טוקנים ואורך השאילתה מוגבל ל־32 טוקנים בלבד, כך שאי אפשר להזין פסקאות ארוכות בבת אחת, ושיטת ColBERT דורשת שמירת וקטורים רבים שמנפחת את נפח האחסון באינדקס.
שאלות
נפוצות
האם המודל מתאים לאחזור מסמכים בעברית?
לא. רשימת השפות הנתמכות כוללת שמונה שפות בלבד, ועברית אינה חלק מהן. אם המערכת שלכם נדרשת לעבד טקסטים בעברית, המודל הזה לא יתאים למשימה ותצטרכו לבחור מודל רב־לשוני אחר.
איך המודל מתמודד עם טקסטים ארוכים מ־512 טוקנים?
המודל מוגדר לקבל מסמכים של עד 512 טוקנים בלבד. אם יש לכם מסמכים ארוכים יותר, תצטרכו לחתוך אותם למקטעים קצרים לפני יצירת האינדקס, שכן הוא אינו מסוגל לקרוא מסמך ארוך כיחידה אחת.
מה ההבדל באחסון בין המודל הזה למודל Embedding רגיל?
מודל רגיל יוצר וקטור בודד לכל מסמך, בעוד שהמודל הזה שומר וקטור לכל טוקן. המשמעות היא שגודל האינדקס שלכם בבסיס הנתונים הווקטורי יהיה גדול משמעותית, וזה שיקול של עלויות זיכרון ונפח שחובה לקחת בחשבון.
איך מריצים
המודל שוקל 1.3 גיגה־בייט בלבד, כך שלא צריך שרתים מיוחדים כדי להריץ אותו. אפשר להעלות אותו בקלות על מעבד גרפי פשוט עם זיכרון צנוע, ואפילו להריץ אותו ישירות על מעבדי מחשב רגילים או מכשירי קצה אם מדובר בנפח שאילתות נמוך. העבודה איתו נעשית דרך ספריית PyLate.
בגלל גודלו הזעיר, אין הצדקה אמיתית לפנות ל־API חיצוני או להוציא כסף על שירותי צד שלישי. אתם מורידים את הקבצים, טוענים לסביבה מקומית ומקבלים שליטה מלאה על הנתונים בלי תלות ברשת חיצונית.
pip install -U huggingface_hub hf download LiquidAI/LFM2-ColBERT-350M
הקבצים
14 קבצים במאגר, 1.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
- model.safetensors1.4 GB
- tokenizer.json4.7 MB
- 1_Dense/model.safetensors524.4 KB
- tokenizer_config.json91.9 KB
- README.md63.1 KB
- LICENSE10.6 KB
- .gitattributes1.5 KB
- chat_template.jinja1.3 KB
- config.json1.2 KB
- config_sentence_transformers.json693 B
- special_tokens_map.json323 B
- modules.json216 B
- 1_Dense/config.json116 B
- sentence_bert_config.json53 B
הרישיון
המודל משוחרר תחת רישיון ייעודי בשם LFM Open License v1.0, המסומן כרישיון מותאם אישית ולא כרישיון קוד פתוח סטנדרטי דוגמת MIT או Apache. המשמעות היא שחובה לקרוא היטב את תנאי הרישיון הספציפיים של LiquidAI לפני שמשלבים אותו במוצר מסחרי, כדי לוודא שאין בו הגבלות שימוש, הפצה או תנאים מסחריים ייחודיים.