GPT
הוספת כלי
A

answerai-colbert-small-v1

קוד פתוח

answerdotaiapache-2.02024-08-12

  • sentence-transformers
  • onnx
  • safetensors
  • bert
  • ColBERT

מודל אחזור ודירוג מחדש זעיר שמביא ביצועים של מודלים גדולים ממנו פי כמה. הוא מיועד למי שרוצה ארכיטקטורת ColBERT מהירה בלי לשלם במשאבי שרת כבדים.

  • 33Mפרמטרים
  • 512טוקנים בהקשר
  • 853 MBמשקל הקבצים
  • 486,206הורדות בחודש

מה זה

מדובר במודל multi-vector שמבוסס על שיטת האימון של JaColBERTv2.5, עם גודל פיזי קטן מאוד של שלושים ושלושה מיליון פרמטרים. במקום לדחוס טקסט שלם לוקטור יחיד כמו במודלי הטבעה רגילים, הוא מחשב אינטראקציה מאוחרת בין טוקנים ומפיק ייצוג עשיר ומדויק בהרבה.

במבחני BEIR הוא מגיע לממוצע של 53.79, ועוקף לא רק מודלים בגודל דומה אלא גם מודלים של מאה מיליון פרמטרים כמו bge-base-en, ואפילו את ColBERTv2 המקורי שעמד על 50.02. ביתרון בולט הוא מנצח במשימות של שאלות מורכבות כמו HotpotQA עם תוצאה של 76.11 מול 66.54 במתחרים באותו משקל.

מתאים ל

  • דירוג מחדש בצינורות RAG

    שלב שני מהיר שמסנן תוצאות חיפוש ראשוניות ומדייק את ההקשר שנכנס למודל השפה.

  • חיפוש מסמכים טכניים באנגלית

    אחזור מדויק של פסקאות קצרות לפי שאלות מורכבות, עם ציוני התאמה גבוהים ב־HotpotQA.

  • אחזור מקומי על חומרת קצה

    משקל של 853 מגה בייט מאפשר להריץ מנוע חיפוש פנימי ישירות על מחשב מקומי בלי כרטיס מסך ייעודי.

איפה זה נופל

המודל מוגדר רשמית כהוכחת היתכנות ולא שוחרר לו דוח טכני מלא מעבר לפוסט בבלוג ולמאמר על הגרסה היפנית. חלון ההקשר שלו מוגבל לחמש מאות ושנים עשר טוקנים בלבד, כך שטקסטים ארוכים דורשים פירוק אגרסיבי.

הוא אומן עבור אנגלית בלבד ולא יתאים לחיפוש בעברית. בנוסף, למרות ההצלחה בממוצע הכללי, במבחנים כמו ArguAna ו־SCIDOCS הוא הציג נפילה ביחס למודלי וקטור יחיד מקבילים.

שאלות
נפוצות

האם המודל תומך בטקסטים בעברית?

לא. המודל אומן והוגדר עבור השפה האנגלית בלבד. אם תזינו לו טקסט בעברית, תוצאות החיפוש והדירוג יהיו גרועות ולא מדויקות.

במה הוא עדיף על מודל embedding רגיל?

מודל הטבעה רגיל דוחס מסמך שלם לוקטור בודד ומאבד פרטים קטנים. השיטה של ColBERT שומרת וקטור לכל טוקן ומבצעת השוואה מפורטת בזמן החיפוש, מה שמשפר משמעותית את איכות התוצאות.

איך מריצים

המשקל הכולל של הקבצים הוא 853 מגה בייט בלבד, כך שלא צריך שרת מפלצתי. אפשר להריץ אותו בקלות על מעבד רגיל, או על כל כרטיס מסך בסיסי עם צריכת זיכרון אפסית, ישירות דרך Sentence Transformers, RAGatouille, ספריית rerankers או המימוש הרשמי של Stanford ColBERT.

אין שום סיבה לשלם על API חיצוני בשביל מודל בגודל כזה. שווה להחזיק אותו מקומית בתוך הקונטיינר שלכם וליהנות מזמני תגובה מהירים בלי תלות ברשת.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("answerdotai/answerai-colbert-small-v1")
v = m.encode(["שלום עולם"])

הקבצים

21 קבצים במאגר, 853 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו כחלק ממוצר סגור, בלי תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית וכתב הוויתור.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗