colpali-v1.3

מה זה

המודל לוקח עמודי מסמכים מלאים, סורק אותם עם מודל ראייה SigLIP ומעביר את המידע דרך PaliGemma-3B. במקום להוציא וקטור יחיד לכל עמוד, הוא מייצר ייצוג של מספר וקטורים במקביל לפי טלאי תמונה וטוקנים של טקסט, ומאפשר אינטראקציה מאוחרת בסגנון ColBERT. המשמעות היא שהשאילתה מתאימה את עצמה ישירות לאלמנטים גרפיים, כותרות או טבלאות בתוך העמוד בלי תלות באיכות הפענוח של מנוע טקסט נפרד.

גרסה 1.3 מבוססת על אימון עם תיקון לריפוד ימני בשאילתות כדי למנוע טוקנים זבל בקידוד, יחד עם אתחול דטרמיניסטי לשכבת ההקרנה. האימון נמשך חמישה מחזורים וכלל דגימות שליליות קשות וחימום של אלף צעדים שנועד לצמצם קריסה בשפות שאינן אנגלית. סט הנתונים כלל 127,460 זוגות של שאילתות ועמודים, חלקם אקדמיים פתוחים וחלקם עמודי PDF סינתטיים עם שאלות שנוצרו באמצעות קלוד 3 סונט.

מתאים ל

• חיפוש בדו״חות עם גרפים

  הוא מאתר נתונים ישירות מאינפוגרפיקה ודיאגרמות בלי להסתמך על תוכנת OCR שקורסת בעיצוב מורכב.

• אחזור מסמכי PDF מורכבים

  שומר על הקשר ויזואלי של טבלאות וטפסים מרובי טורים שלא עוברים טוב המרה לטקסט רגיל.

• שלב אחזור למערכות RAG

  שולף את עמודי המקור המדויקים ביותר לפי שאילתת משתמש לפני שליחתם למודל שפה שמנסח תשובה.

איפה זה נופל

האימון נעשה אך ורק באנגלית. היכולת בשפות אחרות כמו עברית נשענת על הידע המוקדם של גמה ופליגמה, כך שאי אפשר לסמוך עליו במסמכים מקומיים בלי בדיקה ידנית מעמיקה. בנוסף, המודל מתמקד בקובצי PDF טיפוסיים ובשפות נפוצות. החיסרון התפעולי הכבד ביותר הוא שיטת הווקטורים המרובים. רוב מסדי הנתונים הווקטוריים הסטנדרטיים מותאמים לווקטור בודד למסמך, ודרישת החישוב של אינטראקציה מאוחרת מצריכה תשתית אחסון וחיפוש שונה לגמרי מהמקובל בצוותי פיתוח.

אותה משפחה

colpali יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל שמופץ כאן הוא בסך הכול 109 מגה בייט כי מדובר במתאמי LoRA בלבד, שמתלבשים על מודל הבסיס PaliGemma-3B. אפשר להריץ אותו דרך ספריית colpali-engine בגרסאות בין 0.3.0 ל־0.4.0, או דרך Sentence Transformers מגרסה 6.0 ומעלה עם התקנת רכיבי התמונה.

כדי להריץ אותו בפועל תצטרכו לטעון את מודל הבסיס שדורש מעבד גרפי של 8 עד 16 גיגה זיכרון וידאו, תלוי ברמת הדיוק. שימו לב שבגרסאות חדשות של colpali-engine הוסרו התחילית והירידה לשורה שבהן השתמשו באימון המקורי, בעוד התצורה של Sentence Transformers משחזרת את הפורמט המדויק ומזריקה token type ids שמונעים בעיות במיסוך תשומת הלב מול שאילתות קצרות.

pip install -U huggingface_hub
hf download vidore/colpali-v1.3

הקבצים

19 קבצים במאגר, 109 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• adapter_model.safetensors78.6 MB
• tokenizer.json34.6 MB
• 1_Dense/model.safetensors1.0 MB
• tokenizer_config.json242.7 KB
• results.json38.5 KB
• README.md8.7 KB
• training_config.yml2.2 KB
• .gitattributes1.6 KB
• sentence_bert_config.json764 B
• adapter_config.json751 B
• special_tokens_map.json733 B
• modules.json580 B
• config_sentence_transformers.json455 B
• chat_template.jinja451 B
• preprocessor_config.json425 B
• 1_Dense/config.json251 B
• 2_Normalize/config.json94 B
• git_hash.txt40 B
• 3_MultiVectorMask/config.json29 B

הרישיון

המתאמים שמפורסמים כאן מוצעים תחת רישיון MIT שמאפשר שימוש מסחרי, שינוי והפצה כמעט ללא הגבלה. עם זאת, מודל הבסיס PaliGemma מוגן ברישיון הייעודי של גמה מבית גוגל. אי אפשר להשתמש במודל בלי להוריד את הבסיס, ולכן אתם מחויבים לתנאי השימוש וההגבלות של גוגל לפני הפצה במוצר מסחרי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗