colpali-vespa-visual-retrieval

מה זה

האפליקציה מדגימה חיפוש ויזואלי מתקדם במסמכים ומאפשרת לבחון איך מודל רב-מודאלי עובד מול מנוע אחזור בקנה מידה רחב. אתם מזינים שאילתת חיפוש ומקבלים את עמודי המסמכים המתאימים ביותר שנשלפו, על בסיס התאמה של תמונה וטקסט יחד.

מאחורי הקלעים רץ שילוב של מודל הבסיס vidore/colpaligemma-3b-pt-448-base יחד עם מתאם vidore/colpali-v1.2, לצד תשתית האינדוקס והאחזור של Vespa. הגישה הזו מייתרת שלבי פיענוח OCR מסורתיים, וממירה את עמודי המסמכים כפי שהם לייצוגים וקטוריים שמנוע החיפוש יודע לסרוק ולהשוות מול שאילתת הטקסט שנכנסת.

מתאים ל

• בדיקת אחזור ויזואלי

  בחינה מעשית של חיפוש מסמכים מבוסס תמונה מול מנוע Vespa ישירות מהדפדפן.

• הערכת מודל ColPali

  בדיקת איכות השליפה של vidore/colpali-v1.2 ללא צורך בהקמת שרת מקומי.

• השוואה לחיפוש OCR

  הבנת היכולת לחפש בעמודי מסמכים מעוצבים בלי תלות במנועי חילוץ טקסט.

איפה זה נופל

ההדגמה נועדה להמחיש את עקרון האחזור הוויזואלי ולא לשמש כמערכת חיפוש ארגונית מלאה. בגלל החומרה החלשה, אין כאן ביצועים שמייצגים פריסה אמיתית של Vespa עם מאיצים גרפיים. מודל ColPali מתמקד בעמודים שלמים, ואיכות השליפה תלויה ישירות בסוג המסמכים המאונדקסים ובשפה, כאשר תמיכה במסמכים מורכבים בעברית דורשת בדיקה נפרדת לפני שמסתמכים על המנגנון.

איך משתמשים

נכנסים לממשק ה־Gradio בדפדפן בלי צורך בהרשמה או התחברות. מקלידים את שאילתת החיפוש ומריצים כדי לקבל את תוצאות האחזור. האפליקציה רצה על חומרת cpu-basic בסיסית בלבד, למרות שהמפתחים המליצו על כרטיס t4-small. הריצה על מעבד רגיל משפיעה ישירות על המהירות, וחישוב הווקטורים בזמן אמת עלול לקחת זמן רב ולהרגיש איטי לעומת חומרה ייעודית.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי בקוד, שינוי שלו והרצה מסחרית. כל שאילתה שאתם מזינים עוברת דרך השרתים שמארחים את המרחב בהאגינג פייס.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗