GPT
הוספת כלי
R

Reason-ModernColBERT

קוד פתוח

lightonaicc-by-nc-4.02025-05-22

  • PyLate
  • onnx
  • safetensors
  • modernbert
  • ColBERT

זה מודל חיפוש ודירוג קטן במיוחד שמבוסס על ModernBERT וארכיטקטורת ColBERT. הוא מיועד למי שצריך אחזור מידע מורכב שדורש הבנה מעמיקה, בלי להחזיק מודלי ענק של מיליארדי פרמטרים.

  • 149Mפרמטרים
  • 8,192טוקנים בהקשר
  • 1.1 GBמשקל הקבצים
  • 6,449הורדות בחודש

מה זה

מדובר במודל אחזור מבוסס Late Interaction שאומן על נתוני ReasonIR. במקום לדחוס מסמך שלם לווקטור יחיד כמו במודלים רגילים, הוא מייצר סדרת ווקטורים באורך 128 לכל טוקן ומשווה ביניהם באמצעות פעולת MaxSim. המבנה הזה נשען על ModernBert עם 22 שכבות, תומך במסמכים באורך של עד 8,192 טוקנים, אך מגביל שאילתות ל־128 טוקנים.

במבחן BRIGHT, שבודק משימות אחזור שדורשות הסקת מסקנות, הוא עוקף מודלים צפופים של 7B פרמטרים ומגיע לממוצע כללי של 22.62, קרוב מאוד ל־ReasonIR-8B שמגיע ל־24.38. במשימות מסוימות כמו ביולוגיה הוא עומד על 33.25 לעומת 26.2 של מודל ה־8B. כשמשלבים ניסוח שאילתה מורחב מ־GPT-4, הממוצע שלו מזנק ל־30.28, מעל כל מודל אחר שנבדק שם.

מתאים ל

  • דירוג מחדש למסמכים טכניים

    הוא מציג ציונים חזקים באתרי מדע ותכנות, ומתאים לשלב שני בצינור חיפוש כדי לזהות תשובות מדויקות.

  • אחזור לקובצי ענק מקומיים

    הוא תומך בעד 8,192 טוקנים למסמך ורץ על חומרה ביתית פשוטה ללא עלויות ענן נוספות.

  • מחקר וניסויי RAG מתקדמים

    פתרון טוב לבדיקת שילוב של פירוק שאילתות מונחה LLM עם שיטת Late Interaction בסביבה אקדמית.

איפה זה נופל

המודל אומן ונבדק באנגלית בלבד. אם יש לכם טקסטים בעברית, אין כאן שום אינדיקציה ליכולת פענוח סבירה ולא כדאי להסתמך עליו. חיסרון בולט נוסף מופיע בשאילתות ארוכות מדי. פעולת ה־MaxSim לא מתמודדת טוב עם שאילתות ענקיות, וכדי להוציא את התוצאות הגבוהות עם GPT-4 החוקרים נאלצו לבצע ניסויים ידניים באורכי שאילתה שונים שננעלו בין 128 ל־1024 טוקנים. בנוסף, שמירת עשרות וקטורים לכל מסמך דורשת הרבה יותר נפח אחסון בהשוואה לווקטור יחיד.

שאלות
נפוצות

האם אפשר להשתמש בו לחיפוש רגיל עם וקטור אחד לכל מסמך?

לא. זה מודל מסוג ColBERT שמייצר וקטור לכל טוקן. שימוש במבנה צפוף רגיל יפגע קשות בביצועים, כפי שהראו מחברי המודל בהשוואה מפורשת שבה מודל וקטור יחיד השיג ציון של 12.31 בלבד לעומת 19.61.

האם הוא יעבוד טוב על מאגרי ידע בעברית?

הכרטיס מציין אנגלית בלבד. ModernBERT ונתוני האימון אינם מותאמים לעברית, ולכן לא מומלץ להכניס אותו לסביבת ייצור מקומית בעברית ללא אימון מחדש ובדיקות ייעודיות.

איך מריצים

המשקל הכולל של הקבצים עומד על 1.1 ג'יגה בייט עם 149 מיליון פרמטרים בדיוק float32. זה אומר שכל כרטיס מסך בסיסי עם 4 עד 8 ג'יגה זיכרון מריץ אותו בקלות, ואפשר אפילו להריץ אותו על מעבד מרכזי בלי להרגיש עומס כבד. אין שום סיבה טכנית לפנות לשירותי ענן חיצוניים כדי לקבל תוצאות מהגודל הזה.

ההרצה מתבצעת דרך ספריית PyLate הייעודית או ישירות מ־Sentence Transformers בגרסה 6 ומעלה באמצעות MultiVectorEncoder. עבור שמירה וחיפוש של כמויות מסמכים גדולות, הספרייה משלבת את אינדקס ה־HNSW של Voyager. אם המטרה היא רק לדרג מחדש רשימת תוצאות קיימת, יש פונקציית rerank ישירה שלא דורשת בניית אינדקס מראש.

pip install -U huggingface_hub
hf download lightonai/Reason-ModernColBERT

הקבצים

26 קבצים במאגר, 1.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא cc-by-nc-4.0, כלומר שימוש לא מסחרי בלבד. אסור לשלב אותו ישירות במוצר מניב רווחים או בשירות שגובה כסף. הסיבה לכך היא מאגר האימון המקורי, אך המפתחים מציינים שקוד ייצור הנתונים חופשי וניתן לאמן את המודל מחדש בפחות משעתיים כדי להוציא גרסה ברישיון Apache 2.0.

  • שינוי הקוד
  • חובת ייחוס
  • שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗