ColPali-Query-Generator
רץ בדפדפןdavanstrienרישיון לא דווח2024-09-23
מעלים עמוד ממסמך ומקבלים שאילתות חיפוש שמתאימות לאימון מודלים לאיתור מסמכים. הכלי מיועד למי שרוצה לאמן או לשפר מודלים כמו ColPali בלי לנסח דוגמאות ביד.
- —הורדות בחודש
- 74לייקים
מה זה
אתם מעלים תמונת עמוד מתוך מסמך ומקבלים פלט טקסטואלי שמכיל שאילתות חיפוש תואמות. הקוד משתמש במודל הראייה והשפה Qwen2.5-VL-7B-Instruct כדי להביט בעמוד, לקרוא את התוכן הוויזואלי והטקסטואלי יחד, ולחלץ שאלות שמשתמשים עשויים לשאול עליו. הרעיון הוא לייצר נתוני אימון לשיטת ColPali, שמחפשת ישירות על גבי עמודים ויזואליים בלי להסתמך קודם על מנוע OCR נפרד.
בממשק יש שתי דוגמאות מובנות של עמודי מסמכים סרוקים, כולל עמוד מתוך דוח טכני ועמוד מתוך פרסום משנת 1977. העיבוד מאחורי הקלעים מנסה להחזיר מבנה נתונים מוגדר באמצעות מודל נתונים של פיידנטיק ופענוח ג'ייסון, כך שהפלט אמור להגיע מובנה ולא כסתם פסקה חופשית.
מתאים ל
- הכנת דאטה לאימון
יצירת זוגות של עמוד ושאילתה לצורך אימון מודלים שמחפשים במסמכים סרוקים.
- בדיקת שאילתות לעמוד
בדיקה מהירה של סוגי השאלות שמודל ויזואלי מסוגל לחלץ מעמוד בודד של דוח.
- הערכת ביצועי אחזור
בניית שאלות מבחן למערכות חיפוש מסמכים על בסיס דפים אמיתיים.
איפה זה נופל
זה לא מאמן את ColPali בעצמו ולא מחפש מסמכים, אלא רק מייצר שאילתות טקסט לעמוד בודד. הקוד מציג אזהרה מפורשת במקרה שהפלט נכשל בפענוח כמבנה ג'ייסון תקין, כך שלפעמים תקבלו טקסט שבור במקום נתונים נקיים. בנוסף, מודל של שבעה מיליארד פרמטרים יכול לפספס פרטים קטנים או אותיות מטושטשות בעמודים מורכבים.
שאלות
נפוצות
האם השימוש בממשק עולה כסף?
לא, אפשר להיכנס לעמוד דרך הדפדפן ולהשתמש בו בחינם. הגישה חופשית ואינה דורשת הכנסת פרטי תשלום או מנוי כלשהו. פשוט פותחים ומעלים תמונה לבדיקה.
כמה זמן לוקח לייצר שאילתות לעמוד?
העיבוד לוקח שניות ספורות בלבד בזכות השימוש במעבד גרפי ייעודי. אם המערכת הייתה כבויה וצריכה לעלות מחדש, ייתכן עיכוב קצר של כדקה בעלייה הראשונית. לאחר מכן הריצה מתבצעת ברצף.
במה היישום שונה ממודל ColPali עצמו?
היישום הזה בכלל לא מריץ את ColPali ולא מבצע חיפוש במסמכים. הוא מריץ מודל שפה חזותי בשם Qwen2.5-VL כדי להסתכל על תמונה ולהמציא שאלות עליה. השאלות האלו נועדו לשמש כחומר גלם לאימון של ColPali בהמשך הדרך.
מה קורה עם הקבצים שמעלים לממשק?
התמונות שאתם גוררים מעובדות על גבי השרת שמארח את האפליקציה ב־Hugging Face. מאחר שמדובר בהדגמה פתוחה ברשת ולא בהתקנה מקומית ומאובטחת, לא מומלץ להעלות לשם מסמכים רגישים או חסויים. שמרו את זה לחומרים ציבוריים בלבד.
איך משתמשים
גוררים תמונה של עמוד לתיבת הקלט בממשק או בוחרים באחת הדוגמאות הקיימות, ולוחצים על שליחה. היישום רץ על מעבד גרפי מדגם A10G של אנבידיה במסגרת זירו ג'יפייו, כך שזמן העיבוד לכל עמוד לוקח שניות ספורות מרגע שהמכונה מתחילה לעבוד עליו. אין צורך בהרשמה או התחברות כדי לבדוק את זה בדפדפן, אבל אם החומרה בדיוק מתעוררת משינה ייתכן שתחכו מעט עד שהיא תיטען.
הרישיון
הרישיון של המרחב עצמו לא דווח בעמוד, ולכן תנאי השימוש בקוד אינם ברורים לחלוטין. המודל שרץ ברקע הוא מודל פתוח של קוון, והתמונות שאתם מעלים מועברות דרך השרתים שמארחים את הממשק.