colpali-v1.2

מה זה

הארכיטקטורה כאן מחברת בין מודל הראייה SigLIP לבין מודל השפה PaliGemma-3B כדי להמיר טלאים של תמונת עמוד למרחב וקטורי דומה לזה של שאילתת טקסט. במקום להפיק וקטור יחיד לכל דף, הוא מייצר ייצוג ColBERT שמאפשר אינטראקציה מאוחרת בין מילות השאילתה לחלקי התמונה. המטרה היא לעקוף את צוואר הבקבוק של חילוץ טקסט שגוי מטבלאות או תרשימים.

גרסה 1.2 מתקנת בעיות של טוקנים לא רצויים בקידוד השאילתות באמצעות ריפוד מימין, ומקבעת את אתחול שכבת ההיטל כדי לתת תוצאות דטרמיניסטיות. המאמנים השתמשו בחימום ארוך פי עשרה כדי לצמצם קריסה בשפות שאינן אנגלית, לצד דוגמאות שליליות קשות שנכרו ישירות מתוך הנתונים.

מתאים ל

• אחזור דוחות וקובצי PDF

  אינדוקס ישיר של מסמכים עם גרפים וטבלאות ללא צורך בשכבת OCR נפרדת.

• מנועי חיפוש רב-וקטוריים

  שליפת עמודים באמצעות חישובי late interaction שמשווים מילות שאילתה לטלאי תמונה.

• בניית מאגרי RAG לתמונות

  שילוב מסמכים מצולמים בתוך צינור מידע המבוסס על מודלי שפה וראייה.

איפה זה נופל

הנתונים ששימשו לאימון כללו אנגלית בלבד מתוך כוונה לבחון הכללה לשפות אחרות. המשמעות עבור עברית ברורה. המודל עלול להציג ביצועים ירודים מול טקסט מקומי, למרות שהבסיס שלו כולל שפות נוספות. כמו כן, הוא תוכנן כמעט אך ורק סביב דפי PDF ותחביר חזותי של מסמכים, ולא יתאים לתמונות כלליות מהעולם האמיתי.

בנוסף, שיטת השליפה הרב-וקטורית דורשת מנועי חיפוש שתומכים בחישובי אינטראקציה מאוחרת בסגנון ColBERT. רוב מסדי הנתונים הווקטוריים הסטנדרטיים לא מציעים את זה ישירות מהקופסה, מה שיחייב אתכם להרים תשתית ייעודית לאחסון ולחישוב.

אותה משפחה

colpali יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל של הקבצים קטן, סך הכול 319 מגה-בייט, כי מדובר במתאמי LoRA בלבד ולא בכל המשקלים של מודל הבסיס. כדי להריץ אותם תצטרכו לטעון את PaliGemma-3B המקורי בסביבה שתומכת ב־bfloat16, רצוי על גבי כרטיס מסך עם זיכרון ייעודי לעבודה עם מודלי תמונה ושפה.

אפשר להשתמש בספריית Sentence Transformers החל מגרסה שש עם תמיכה בתמונות, או בספרייה colpali-engine. שימו לב ששינויים בגרסאות המאוחרות של colpali-engine הסירו קידומות שאילתה וסיומות שורות שהמודל הזה אומן עליהן, מה שיוצר סטיות קלות בוקטורים לעומת המימוש המקורי.

pip install -U huggingface_hub
hf download vidore/colpali-v1.2

הקבצים

26 קבצים במאגר, 319 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• checkpoint-18000/optimizer.pt157.4 MB
• adapter_model.safetensors78.6 MB
• checkpoint-18000/adapter_model.safetensors78.6 MB
• tokenizer.json17.8 MB
• 1_Dense/model.safetensors1.0 MB
• checkpoint-18000/trainer_state.json373.0 KB
• tokenizer_config.json242.7 KB
• results.json38.0 KB
• results_old.json18.0 KB
• README.md8.8 KB
• checkpoint-18000/README.md5.1 KB
• training_config.yml2.2 KB
• .gitattributes1.6 KB
• checkpoint-18000/scheduler.pt1.1 KB
• sentence_bert_config.json764 B
• checkpoint-18000/adapter_config.json752 B
• adapter_config.json750 B
• special_tokens_map.json733 B
• preprocessor_config.json700 B
• modules.json580 B
• chat_template.jinja455 B
• config_sentence_transformers.json455 B
• 1_Dense/config.json251 B
• 2_Normalize/config.json94 B
• git_hash.txt40 B
• 3_MultiVectorMask/config.json29 B

הרישיון

המתאמים שפורסמו כאן מופצים תחת רישיון MIT, שמתיר שימוש מסחרי, שינוי והפצה כמעט ללא הגבלות. עם זאת, השימוש בפועל מחייב טעינה של מודל הבסיס PaliGemma, והוא כפוף לתנאי הרישיון המקוריים של Gemma מבית גוגל.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗