semantic-search-with-retrieve-and-rerank

מה זה

אתם מעלים קובץ כמו PDF או Word, מדביקים קישור לכתבה ברשת או מזינים טקסט חופשי, ומקלידים שאילתת חיפוש. הקוד מפרק את המלל לפסקאות או משפטים בעזרת ספריות עיבוד שפה, ואז שולף את הקטעים הרלוונטיים ביותר ומדרג אותם מחדש לפי מידת ההתאמה.

מאחורי הקלעים פועל שילוב של אלגוריתם BM25 יחד עם מודלים ממשפחת הדו-מקודדים לשליפה מהירה, כמו e5-base-v2, סדרת MiniLM או bge-base-en-v1.5. בשלב השני, מודל דירוג מחדש מסוג ms-marco-MiniLM-L12-v2 עובר על התוצאות המובילות ומסדר אותן ברמת דיוק גבוהה יותר. הממשק כולל הסברים ותרשימים שממחישים את ההבדל בין שני השלבים לפי התיעוד של Sentence Transformers.

מתאים ל

• השוואת מודלי שליפה

  בדיקת איכות התוצאות בין מודלים כמו e5 ו־BM25 על אותו טקסט.

• חיפוש בתוך מאמרים ברשת

  הזנת כתובת אינטרנט ושליפת הפסקאות הרלוונטיות לשאילתה מוגדרת.

• בדיקת קבצי מסמכים מקומיים

  טעינת קובץ וורד או PDF כדי לחלץ מתוכו תשובות ממוקדות.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה נמצאת במצב של תקלת הרצה ולא מגיבה. חוץ מזה, רוב המודלים שמוגדרים בקוד אומנו על אנגלית, ולכן לא תקבלו תוצאות טובות על טקסטים בעברית. המעבד הבסיסי גם יתקשה מאוד להתמודד עם קבצי PDF ארוכים במיוחד.

איך משתמשים

נכנסים לעמוד דרך הדפדפן בלי צורך בחשבון או בהתחברות. נכון לעכשיו מוגדרת שגיאת ריצה בעמוד, כך שהממשק אינו פעיל עד שהיוצר יתקן את הקוד. כשהוא עובד, ההרצה מתבצעת על מעבד בסיסי בלבד. זה אומר שעיבוד קבצים כבדים וחישוב המודלים עלולים לקחת זמן.

הרישיון

היוצר לא הגדיר רישיון שימוש בקוד. במצב כזה כל הזכויות שמורות לו, ואי אפשר להעתיק את הקוד לפרויקט מסחרי. החומרים שאתם מעלים עוברים דרך השרת שמארח את הדף ברשת.

הרישיון המלא ב־Hugging Face ↗