colqwen2-v0.1

מה זה

המודל מתבסס על Qwen2-VL-2B ומוסיף לו שכבת הטלה שמפיקה ייצוג מרובה וקטורים לטקסט ולתמונות. במקום לחלץ טקסט עם כלי OCR נפרד ואז לאבד את העימוד, הגרפים והטבלאות, הוא מקבל את עמוד המסמך ישירות כתמונה ומייצר וקטורים שמייצגים גם את התוכן וגם את המבנה החזותי.

האימון נעשה על 127,460 צמדים של שאילתות ועמודים, שחלקם נלקחו ממאגרים אקדמיים פתוחים וחלקם מקובצי PDF עם שאלות סינתטיות שנוצרו על ידי Claude-3 Sonnet. בניגוד למודלים שמכריחים שינוי גודל ופוגעים ביחס התמונה, הוא תומך ברזולוציה דינמית ומייצר עד 768 פאצ'ים חזותיים לכל עמוד, מה שמשפר את הדיוק על חשבון צריכת הזיכרון.

הכרטיס מציין שזו גרסת הבסיס שנועדה לאתחול דטרמיניסטי של שכבת ההטלה. המודל מתמקד בשפה האנגלית, ולמרות שמודל הבסיס ראה שפות נוספות, הנתונים הייעודיים לאימון השליפה היו כולם באנגלית בלבד.

מתאים ל

• שליפת עמודי PDF מורכבים

  חיפוש מדויק במסמכים עם טבלאות, דיאגרמות וגרפים בלי להסתמך על כלי OCR שנוטים לשבש מבנים.

• אינדוקס מסמכים באנגלית

  שליפת מידע ממסמכים טכניים באנגלית בעזרת מודל קל שמפיק ייצוג מרובה וקטורים לכל עמוד.

• אימון והתאמה אישית

  שימוש במשקלים הבסיסיים כנקודת מוצא מכוילת היטב לכוונון עדין על מסמכים פנים ארגוניים.

איפה זה נופל

האימון נעשה כולו באנגלית, ולכן ביצועים בעברית אינם מובטחים ונשענים רק על מה שמודל הבסיס קלט במקרה. בנוסף, מנגנון late interaction של ColBERT דורש טיפול מיוחד. רוב מסדי הנתונים הווקטוריים הסטנדרטיים לא יודעים לאחסן ולחפש מספר רב של וקטורים עבור רשומה אחת בלי התאמות קוד כבדות.

קיימת גם בעיית תאימות מוצהרת בגרסאות. החל מגרסה 0.3.13 של colpali-engine הוסרה הקידומת של השאילתה שהמודל אומן איתה, מה שיוצר פער בביצועים לעומת Sentence Transformers אם לא שמים לב להגדרות המדויקות בזמן הריצה.

אותה משפחה

colqwen2 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים כאן עומד על 294 מגה בייט בלבד, מכיוון שמדובר במשקלי מתאם LoRA ושכבת היטל שמתלבשים על מודל הבסיס. כדי להריץ אותו צריך לטעון את מודל השפה החזותי המלא ולהשתמש בספריית colpali-engine מגרסה 0.3.1 ומעלה, או בגרסה עדכנית של sentence-transformers.

האימון עצמו בוצע בפורמט bfloat16 על שמונה מעבדים גרפיים עם אופטימייזר של שמונה ביט. לצורך הרצה והסקה מספיק כרטיס מסך ביתי בודד עם זיכרון סביר, אבל האתגר האמיתי מגיע בשמירת האינדקס, שמצריך שמירה של עשרות עד מאות וקטורים לכל עמוד מסמך ולא וקטור יחיד.

pip install -U huggingface_hub
hf download vidore/colqwen2-v0.1

הקבצים

32 קבצים במאגר, 294 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• checkpoint-3694/optimizer.pt148.3 MB
• adapter_model.safetensors74.0 MB
• checkpoint-3694/adapter_model.safetensors74.0 MB
• tokenizer.json7.0 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• 1_Dense/model.safetensors787.1 KB
• checkpoint-3694/trainer_state.json68.8 KB
• results_bug.json17.7 KB
• results.json16.1 KB
• checkpoint-3694/rng_state.pth14.2 KB
• README.md7.6 KB
• checkpoint-3694/training_args.bin5.2 KB
• checkpoint-3694/README.md5.1 KB
• tokenizer_config.json4.3 KB
• training_config.yml1.7 KB
• .gitattributes1.5 KB
• checkpoint-3694/scheduler.pt1.1 KB
• chat_template.jinja1.0 KB
• additional_chat_templates/sentence_transformers.jinja872 B
• sentence_bert_config.json750 B
• checkpoint-3694/adapter_config.json729 B
• adapter_config.json728 B
• preprocessor_config.json618 B
• special_tokens_map.json613 B
• modules.json580 B
• config_sentence_transformers.json455 B
• added_tokens.json392 B
• 1_Dense/config.json252 B
• 2_Normalize/config.json94 B
• git_hash.txt40 B
• 3_MultiVectorMask/config.json29 B

הרישיון

מודל הבסיס מוגדר תחת רישיון Apache 2.0, ואילו מתאמי ה־LoRA הנוספים מפורסמים תחת רישיון MIT. שני הרישיונות מתירים שימוש מסחרי חופשי, שינוי והפצה, בתנאי ששומרים על הצהרות זכויות היוצרים המקוריות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗