LateOn

מה זה

מדובר במודל אחזור רב וקטורי בשיטת ColBERT שנבנה על בסיס ModernBERT. במקום לכווץ פסקה שלמה לוקטור בודד ולאבד פרטים, הוא מייצר וקטור באורך 128 לכל טוקן ומחשב דמיון באמצעות MaxSim. הגישה הזו שומרת על הקשרים מורכבים בטקסט ומאפשרת התאמה מדויקת מאוד בין שאילתות למסמכים.

הוא מגיע לתוצאה ממוצעת של 57.22 בבדיקות BEIR על 15 מאגרים, ועוקף מודלים כבדים בהרבה כמו Jina ColBERT v2 שמכיל 559 מיליון פרמטרים. במבחן שנקי מדליפת נתונים בין האימון למבחנים הוא הגיע לציון 60.36, מה שמראה שהתוצאות שלו מבוססות על הכללה אמיתית ולא על שינון שאלות מוכרות.

מתאים ל

• דירוג מחדש למנועי חיפוש

  לקיחת 50 התוצאות הראשונות מחיפוש טקסטואלי ודירוגן בדיוק גבוה באמצעות פונקציית הדירוג של PyLate.

• אחזור עמוק למערכות RAG

  שליפת קטעי מידע באנגלית מתוך מאגרים טכניים שדורשים התאמה מילולית ומבנית מדויקת שלא הולכת לאיבוד.

• אינדקס מקומי מהיר

  בניית מנוע חיפוש מבוסס FastPLAID על שרת עצמאי קטן, בלי תלות בשירותי ענן חיצוניים או הוצאות קריאה לפי שימוש.

איפה זה נופל

המודל אומן על אנגלית בלבד. אם תזרקו עליו מסמכים בעברית או שאילתות מעורבות, הוא לא מיועד להבין אותם ולא ייתן תוצאות אמינות. בנוסף, למרות שהבסיס שלו תומך בהקשר ארוך, כרטיס המודל מגדיר אורך מסמך מקסימלי של 300 טוקנים ושאילתה של 32 טוקנים בלבד, כך שטקסטים ארוכים ייחתכו או ידרשו חלוקה מורכבת.

החיסרון המבני של ColBERT הוא נפח האחסון. שמירת וקטור נפרד לכל טוקן במסמך דורשת הרבה יותר זיכרון ונפח דיסק בהשוואה לוקטור יחיד לכל טקסט.

איך מריצים

משקל הקבצים עומד על 1.3 ג'יגה בייט בלבד. כרטיס גרפי פשוט, אפילו ברמה של שרת ענן זול עם כמה גיגה בייט בודדים של זיכרון וידאו, יריץ אותו בלי למצמץ. אפשר לטעון אותו ישירות דרך Sentence Transformers מגרסה 6 ומעלה באמצעות MultiVectorEncoder, או דרך ספריית PyLate יחד עם מנוע FastPLAID כדי לבנות אינדקס אחזור מקומי.

אם כל מה שצריך זה סידור מחדש של כמה עשרות תוצאות ממנוע חיפוש קיים, עדיף להשתמש בפונקציית הדירוג הישירה בקוד. מנגד, אם אין לכם תשתית להחזיק שרת דולק עבור מנוע אינדקס מבוסס PLAID, עדיף לפנות למודל צפוף רגיל שמשתלב בקלות בבסיסי נתונים וקטוריים סטנדרטיים.

pip install -U huggingface_hub
hf download lightonai/LateOn

הקבצים

19 קבצים במאגר, 1.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.onnx615.8 MB
• model.safetensors596.1 MB
• model_int8.onnx154.7 MB
• 1_Dense/model.safetensors9.4 MB
• 2_Dense/model.safetensors9.4 MB
• tokenizer.json3.6 MB
• 3_Dense/model.safetensors393.3 KB
• tokenizer_config.json21.4 KB
• README.md18.8 KB
• .gitattributes1.5 KB
• config.json1.2 KB
• onnx_config.json821 B
• config_sentence_transformers.json760 B
• special_tokens_map.json581 B
• modules.json422 B
• 1_Dense/config.json160 B
• 2_Dense/config.json160 B
• 3_Dense/config.json160 B
• sentence_bert_config.json57 B

הרישיון

הרישיון הוא Apache 2.0. זהו רישיון קוד פתוח מתירני שמאפשר להשתמש במודל לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצרים פנימיים או למכור שירותים שמבוססים עליו, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗