ColBERT-Zero
קוד פתוחlightonaiapache-2.02026-02-19
מודל אחזור בגישת וקטורים מרובים שמאפשר חיפוש מדויק בטקסטים ארוכים. הוא מציג דיוק גבוה במיוחד לגודל שלו בזכות אימון ייעודי מהשלב הראשון.
- 149Mפרמטרים
- 8,192טוקנים בהקשר
- 572 MBמשקל הקבצים
- 10,638הורדות בחודש
מה זה
מדובר במודל אחזור שמבוסס על ארכיטקטורת ModernBertModel ומשתמש בשיטת late interaction. בניגוד למודלים מקבילים שלוקחים מודל וקטור יחיד רגיל ורק בסוף מכשירים אותו לעבוד בשיטת ColBERT, כאן ביצעו את כל האימון המקדים מראש בתצורה הזו. הוא תוכנן עבור משימות של דמיון בין טקסטים ואחזור מידע, ומגיע עם חלון הקשר של 8,192 טוקנים.
במבחן BEIR הוא השיג תוצאה של 55.43 בציון nDCG@10. המשמעות בפועל היא שהוא מצליח לעקוף מודלים מתחרים כמו GTE-ModernColBERT וגרסאות מקבילות אחרות עד 150 מיליון פרמטרים, למרות שהוא אומן אך ורק על מאגר נתונים ציבורי של Nomic ולא על דאטה קנייני סגור. החיפוש שלו מדויק יותר בשאלות מורכבות שמצריכות התאמה בין מילים ספציפיות ולא רק הבנה כללית של הנושא.
מתאים ל
- חיפוש מסמכים ארוכים
ניצול חלון של 8,192 טוקנים לאחזור קטעים מתוך מאמרים ודוחות באנגלית.
- מערכות RAG מדויקות
שליפת פסקאות ספציפיות עבור מודל שפה כשחיפוש דנס רגיל מפספס פרטים.
- אחזור מידע על חומרה זולה
הרצה מקומית מלאה של שלב החיפוש על שרתים פשוטים בזכות גודל של 149M פרמטרים.
איפה זה נופל
המודל אומן ותומך רשמית רק בשפה האנגלית, כך שהוא לא מתאים לטקסטים בעברית. בנוסף, למרות שהמודל עצמו קטן וקל להרצה, שמירת וקטור לכל טוקן במסמכים ארוכים של אלפי טוקנים מנפחת מאוד את בסיס הנתונים ומאיטה את החיפוש בהשוואה לוקטור יחיד רגיל.
שאלות
נפוצות
האם אפשר להשתמש במודל לאחזור מסמכים בעברית?
הכרטיס מציין תמיכה באנגלית בלבד. המודל לא אומן על עברית, ולכן ניסיון להשתמש בו לטקסט מקומי ייתן תוצאות חלשות ולא אמינות.
האם הוא דורש משאבים כבדים בגלל חלון ההקשר הגדול?
המודל עצמו זעיר ושוקל חצי גיגה בלבד, כך שההסקה זולה ומהירה. הקושי העיקרי הוא באינדוקס, כי שיטת הווקטורים המרובים מייצרת נפח אחסון גדול משמעותית בבסיס הנתונים עבור מסמכים ארוכים.
איך מריצים
המודל שוקל 572 מגה בייט בלבד עם 149 מיליון פרמטרים, ולכן אפשר להריץ אותו בקלות על מעבד רגיל או כרטיס גרפי פשוט וזול, מקומי או בענן. הוא עובד עם ספריית PyLate וצורך זיכרון עבודה מינימלי ביחס למודלי שפה.
המשקל הנמוך הופך אותו למועמד טבעי לאירוח עצמי, בלי שום צורך לשלם על שירותי API חיצוניים. הדבר היחיד שצריך לזכור הוא שמודלי late interaction שומרים וקטור לכל טוקן ולא וקטור בודד למסמך, ולכן בסיס הנתונים הווקטורי שלכם ידרוש נפח אחסון גדול בהרבה.
pip install -U huggingface_hub hf download lightonai/ColBERT-Zero
הקבצים
12 קבצים במאגר, 572 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא Apache 2.0 מלא. מותר להשתמש בו באופן חופשי לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים ומצהירים על שינויים שבוצעו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים