quantized-retrieval
רץ בדפדפןsentence-transformersרישיון לא דווח2024-03-21
חיפוש סמנטי מהיר במאגר ויקיפדיה באנגלית באמצעות וקטורים שעברו כימות. מתאים למי שרוצה לבדוק בפועל איך דחיסת אמבדינג משפיעה על מהירות ודיוק שליפה.
- —הורדות בחודש
- 139לייקים
מה זה
אתם מקלידים שאילתת חיפוש חופשית ומקבלים פסקאות מוויקיפדיה שרלוונטיות למשמעות של מה שחיפשתם, ולא רק למילים המדויקות. המערכת מציגה את התוצאות ככרטיסים לצד סיכום של זמני הריצה והשלבים השונים בשליפה.
מאחורי הקלעים רץ המודל mixedbread-ai/mxbai-embed-large-v1 שממיר את השאילתה לווקטור. החיפוש עצמו מתבצע באמצעות faiss מול אינדקס בינארי שנטען מראש ממאגר ויקיפדיה באנגלית מנובמבר 2023. יש בממשק אפשרות לבחור בין אינדקס בינארי מדויק לבין קירוב מבוסס ivf, ולקבוע מכפיל לחישוב מחדש שמדרג את התוצאות הסופיות עם וקטורי int8 כדי לשמור על דיוק גבוה.
מתאים ל
- בדיקת איכות כימות וקטורים
השוואת תוצאות החיפוש בין אינדקס מקורב לאינדקס בינארי רגיל כדי לראות את הפגיעה בדיוק.
- הערכת זמני שליפה ב־faiss
צפייה בסיכום הזמנים של השליפה הבינארית ושלב הדירוג מחדש על גבי מעבד.
- חיפוש סמנטי בוויקיפדיה
שליפת פסקאות מידע באנגלית לפי נושאים מורכבים במקום התאמת מילות מפתח יבשה.
איפה זה נופל
החיפוש מוגבל אך ורק לנתוני ויקיפדיה באנגלית מתוך הדאטהסט שנטען מראש. אי אפשר להעלות קבצים שלכם, אי אפשר לחפש בעברית בצורה אמינה עם המאגר הזה, והנתונים לא מתעדכנים בזמן אמת. ההדגמה מציגה יעילות של כימות וקטורים בתרחיש מוכן מראש, אבל היא לא מראה איך בונים או מכמתים אינדקס כזה מאפס על המידע הפרטי שלכם.
שאלות
נפוצות
האם השימוש בהדגמה עולה כסף?
לא, השימוש בעמוד פתוח וחינמי לחלוטין ישירות דרך הדפדפן. אין צורך להזין אמצעי תשלום ואין מגבלת שימוש קשיחה שמופיעה בממשק. כל עוד השרת של ההדגמה זמין, אפשר להריץ שאילתות חופשי.
האם המידע והחיפושים שלי נשמרים?
הטקסט שאתם מקלידים נשלח לשרת של הדמו כדי לייצר ממנו וקטור ולחפש באינדקס. אין בממשק הצהרת פרטיות ייעודית לגבי שמירת לוגים של שאילתות. לכן לא מומלץ להכניס לשם מידע סודי או פרטים אישיים.
כמה זמן לוקח לכל חיפוש להחזיר תוצאות?
הפעולה אורכת בדרך כלל בין עשיריות שנייה לשניות בודדות. הזמן מתחלק בין חישוב הווקטור לשאילתה על המעבד לבין השליפה מאינדקס ה־faiss הדחוס. אם יש עומס משתמשים בו זמנית על השרת, ייתכן עיכוב קל.
האם אפשר להריץ את זה על מחשב מקומי?
כן, הקוד מבוסס על ספריות סטנדרטיות כמו sentence-transformers ו־faiss. תצטרכו להוריד את קובץ האפליקציה, את המודל ואת האינדקסים ממאגר הנתונים המקושר. זה דורש זיכרון עבודה מספק כדי לטעון את האינדקסים הבינאריים למחשב.
במה האפליקציה שונה משימוש במודל עצמו?
המודל mixedbread-ai/mxbai-embed-large-v1 רק מייצר וקטורים מטקסט. האפליקציה הזאת מוסיפה תשתית שלמה של כימות בינארי, אינדקס faiss של מיליוני פסקאות מוויקיפדיה, ומנגנון דירוג מחדש שמספק תוצאות חיפוש מלאות.
איך משתמשים
מקלידים טקסט בשדה השאילתה או בוחרים אחת מהדוגמאות המוכנות, ולוחצים על כפתור החיפוש. אפשר לשחק עם הסליידרים של כמות התוצאות top_k, מכפיל הדירוג מחדש, ולבחור את סוג האינדקס. הממשק פתוח בדפדפן בלי צורך בחשבון או התחברות. הוא רץ על מעבד מסוג cpu-xl, כך שחיפוש ממוצע מול האינדקסים הקיימים לוקח שברירי שניות, אם כי יצירת הווקטור לשאילתה על מעבד עשויה לקחת מעט יותר זמן מעל כרטיס מסך ייעודי.
הרישיון
הרישיון של המרחב לא דווח. בקוד עצמו נעשה שימוש במודל של mixedbread-ai ובספריות קוד פתוח כמו faiss ו־sentence-transformers, אך בהיעדר רישיון מוגדר לאפליקציה עצמה, אין אישור מפורש לשימוש מסחרי בקוד שמחזיק את הממשק. השאילתות שאתם שולחים עוברות דרך השרת שמריץ את ההדגמה.