colqwen2.5-v0.2

מה זה

מדובר במודל אחזור ויזואלי שמבוסס על מודל השפה והראייה Qwen2.5-VL-3B בתוספת מתאמי LoRA. במקום להמיר קובץ PDF לטקסט רציף ולאבד בדרך תרשימים וטבלאות, הוא מקבל את תמונת העמוד ומייצר ייצוגי וקטורים מרובים בסגנון ColBERT. החידוש כאן מול גרסאות קודמות הוא התמודדות עם רזולוציה דינמית שלא משנה את יחס הגובה והרוחב של התמונה המקורית.

הוא מוגבל לתקרה של 768 טלאי תמונה לכל עמוד כדי לא לחנוק את הזיכרון. האימון שלו נשען על כמעט 127,500 זוגות של שאילתות ועמודים, שחלקם הגדול אקדמי וחלקם מורכב מעמודי רשת עם שאלות סינתטיות שנוצרו במודל חיצוני.

מתאים ל

• אחזור עמודי PDF באנגלית

  הוא קורא את העמוד כתמונה ומחזיר תוצאות מדויקות גם כשיש תרשימים וטבלאות מסובכות.

• חיפוש מבוסס Late Interaction

  התאמה מלאה למי שמשתמש במנגנוני ColBERT ומחפש התאמה מקומית בין מילים לפרטים בתמונה.

• מערכות RAG ללא OCR מקדים

  חוסך את שלב חילוץ הטקסט ומאפשר לגשת ישירות לעמודים סרוקים שמכשילים מנועי טקסט רגילים.

איפה זה נופל

האימון נעשה כולו באנגלית בלבד, ודפי הבדיקה מבוססים בעיקר על מסמכי PDF רגילים. אם תזרקו עליו עמודים בעברית או תבניות מסמך חריגות, אתם מסתמכים נטו על הידע המוקדם של מודל הבסיס בלי שום בדיקה ייעודית. בנוסף, מנגנון האינטראקציה המאוחרת מייצר עשרות ומאות וקטורים לכל עמוד, מה שמסבך את התשתית בבסיסי נתונים וקטוריים סטנדרטיים וגוזל נפח אחסון גבוה משמעותית בהשוואה לווקטור בודד.

איך מריצים

המשקל של הקבצים קטן מאוד, 245 מגה בייט, כי מדובר רק במשקלי המתאמים ולא במודל הבסיס כולו. להרצה תצטרכו לטעון את Qwen2.5-VL-3B יחד איתם, מה שדורש מעבד גרפי עם מספיק זיכרון וידאו בשביל מודל של שלושה מיליארד פרמטרים וטלאי תמונה ברזולוציה מלאה.

אפשר להריץ אותו עם ספריית colpali-engine מגרסה 0.3.1 ומעלה, או ישירות דרך Sentence Transformers מגרסה 6 ומעלה. שימו לב להבדל בגרסאות הספריות סביב הקידומת של השאילתה, שמשפיע על הווקטורים שנוצרים.

pip install -U huggingface_hub
hf download vidore/colqwen2.5-v0.2

הקבצים

24 קבצים במאגר, 245 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• adapter_model.safetensors239.8 MB
• tokenizer.json11.4 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• 1_Dense/model.safetensors1.0 MB
• results.json45.1 KB
• README.md7.6 KB
• tokenizer_config.json7.3 KB
• training_config.yml2.5 KB
• .gitattributes1.6 KB
• chat_template.jinja1.0 KB
• additional_chat_templates/sentence_transformers.jinja872 B
• adapter_config.json813 B
• sentence_bert_config.json772 B
• preprocessor_config.json621 B
• special_tokens_map.json613 B
• added_tokens.json605 B
• modules.json580 B
• config_sentence_transformers.json455 B
• 1_Dense/config.json252 B
• 2_Normalize/config.json94 B
• video_preprocessor_config.json53 B
• git_hash.txt40 B
• 3_MultiVectorMask/config.json29 B

הרישיון

המתאמים שפורסמו כאן מופצים ברישיון MIT חופשי, אבל מודל הבסיס Qwen2.5-VL כפוף לרישיון המחקר של Qwen. המשמעות היא שאי אפשר לקחת את החבילה הזו כמו שהיא למוצר מסחרי סגור בלי לבדוק ולקבל את תנאי השימוש והמגבלות של מודל הבסיס עצמו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗