colqwen-omni-v0.1

מה זה

במקום להריץ מנועי קריאת טקסט מתמונה או מערכות תמלול לשמע, המודל הזה מתבסס על Qwen2.5-Omni-3B ומיישם גישת הצלבה מאוחרת בסגנון ColBERT. הוא יוצר ייצוג רב וקטורי מתוך מאפיינים חזותיים של עמודי מסמכים או מקטעי שמע, ומשווה אותם ישירות לשאילתות טקסטואליות. הוא מנהל רזולוציות תמונה דינמיות בלי לעוות את יחס הגובה והרוחב, ומייצר עד 1024 מקטעי תמונה לכל עמוד כדי לשמור על קריאות ופרטים גרפיים.

הבסיס אומן על מאגר של 127,460 זוגות של שאילתה ועמוד, שמתוכם 63 אחוזים הגיעו ממאגרים אקדמיים פתוחים ו־37 אחוזים ממסמכי רשת מסונתזים עם שאלות שנבנו על ידי מודל חיצוני. מעניין לראות שיכולות אחזור השמע פועלות כאן באפס דוגמאות מראש, בלי שהמודל ראה דוגמאות שמע באימון הייעודי, אלא רק מתוך חיבור הייצוגים של המודל המקורי שהוקפא בחלקים אלה.

מתאים ל

• אחזור מסמכים מורכבים

  חיפוש בתוך דוחות עם תרשימים וגרפיקה ישירות מהתמונה בלי להסתבך עם קריאת טקסט לקויה.

• אינדוקס הקלטות קוליות

  איתור קטעי שמע לפי שאילתות טקסט בלי לבצע תמלול מלא של כל ההקלטה מראש.

• סריקת קובצי PDF היברידיים

  מעבר על עמודים שמשלבים כתב ואיורים ברזולוציה גמישה ששומרת על היחס המקורי.

איפה זה נופל

האימון נעשה אך ורק על חומרים באנגלית, מה שאומר שכל עבודה עם עברית מתבססת אך ורק על מה שהמודל המקורי ספג במקרה. חיפוש בעברית במסמכים מקומיים עלול לפספס מונחים ולתת תוצאות לא יציבות. בנוסף, חלקי השמע והראייה הוקפאו באימון והיכולת הקולית פועלת באפס דוגמאות, כך שלא הייתי בונה עליו לאחזור שמע רגיש או רועש בלי לבדוק את זה לעומק קודם.

איך מריצים

כדי להריץ אותו צריך להתקין את ספריית colpali-engine מגרסה 0.3.11 ומעלה, או להשתמש ב־Sentence Transformers מגרסה 6 ומעלה עם תמיכה במולטימדיה. קובצי המודל שוקלים 931 מגה בייט, כך שלא צריך שרת מפלצתי כדי לטעון אותו לזיכרון וכרטיס מסך פשוט יספיק פה לעבודה שוטפת.

אם עובדים עם שמע, חובה להמיר את קובצי הקול לקצב דגימה של 16 קילוהרץ לפני שמעבירים אותם למודל כדי שהרכיב הייעודי יפענח אותם נכון. גודל הווקטורים משתנה מדף לדף ונשען על פונקציית MaxSim לחישוב הדמיון, כך שצריך לוודא שמסד הנתונים הווקטורי שלכם יודע להתמודד עם אינדקס מרובה וקטורים.

pip install -U huggingface_hub
hf download vidore/colqwen-omni-v0.1

הקבצים

34 קבצים במאגר, 931 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• checkpoint-2310/optimizer.pt479.9 MB
• adapter_model.safetensors239.8 MB
• checkpoint-2310/adapter_model.safetensors239.8 MB
• tokenizer.json11.4 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• 1_Dense/model.safetensors1.0 MB
• checkpoint-2310/trainer_state.json45.6 KB
• checkpoint-2310/rng_state_0.pth15.4 KB
• checkpoint-2310/rng_state_1.pth15.4 KB
• checkpoint-2310/rng_state_2.pth15.4 KB
• checkpoint-2310/rng_state_3.pth15.4 KB
• README.md7.6 KB
• checkpoint-2310/training_args.bin5.8 KB
• tokenizer_config.json5.2 KB
• checkpoint-2310/README.md5.1 KB
• train_colqwenomni_model.py4.2 KB
• .gitattributes1.6 KB
• additional_chat_templates/sentence_transformers.jinja1.5 KB
• checkpoint-2310/scheduler.pt1.5 KB
• chat_template.jinja1.3 KB
• video_preprocessor_config.json1.3 KB
• sentence_bert_config.json1.1 KB
• checkpoint-2310/adapter_config.json889 B
• adapter_config.json876 B
• special_tokens_map.json833 B
• preprocessor_config.json665 B
• added_tokens.json579 B
• modules.json579 B
• 1_Dense/config.json251 B
• config_sentence_transformers.json191 B
• 2_Normalize/config.json93 B
• git_hash.txt40 B
• 3_MultiVectorMask/config.json29 B

הרישיון

הרישיון הוא MIT, מה שאומר שאפשר להשתמש בו חופשי, לשלב אותו במוצרים מסחריים, לשנות את הקוד ולהפיץ אותו בלי לשלם תמלוגים. התנאי היחיד הוא שמירת הצהרת זכויות היוצרים של היוצרים המקוריים בכל עותק של הקוד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗