kosmos-2.5

מה זה

המודל פותח ספציפית לקריאת מסמכים עמוסי טקסט, תחום שבו מודלים כלליים נוטים להחמיץ פרטים או לאבד את הסדר של הפסקאות. הוא בנוי על ארכיטקטורת דקודר של 1.4 מיליארד פרמטרים, גודל צנוע שמאפשר עיבוד תמונה ממוקד בלי לגרור משקל עודף של מודלי שפה ענקיים.

במקום סתם לפלוט רצף מילים, הוא יודע לבצע שתי משימות מוגדרות לפי פרומפט מתאים. הראשונה היא זיהוי טקסט יחד עם קואורדינטות המיקום שלו בתוך התמונה, והשנייה היא המרת מבנה המסמך, כולל עיצוב וכותרות, לפורמט מרקדאון נקי ישירות מתוך התמונה.

מתאים ל

• המרת סריקות למרקדאון

  שומר על היררכיית כותרות וטבלאות ממסמכים ישנים ישירות לקובץ טקסט עביר ועריוך.

• חילוץ טקסט עם מיקום

  מחזיר קואורדינטות מרחביות סביב בלוקים של טקסט, מתאים לסימון ומציאת שדות בטפסים.

• אימון נוסף למסמכים מורכבים

  בסיס קל שמתאים לכוונון עדין על סוגי מסמכים ארגוניים ספציפיים באנגלית.

איפה זה נופל

בגלל שמדובר במודל יוצר שמייצר טקסט באופן רגרסיבי ולא במנוע זיהוי תווים קלאסי, הוא עלול להמציא מילים או מספרים שלא קיימים בתמונה המקורית. הדף של מיקרוסופט מזהיר במפורש שאי אפשר להבטיח דיוק מוחלט בתוצאות המרקדאון או התווים. בנוסף, הוא אומן רק על אנגלית, כך שמסמכים בעברית או שפות אחרות ייכשלו, וחלון ההקשר מוגבל ל־4,096 טוקנים שמגבילים מסמכים ארוכים במיוחד.

איך מריצים

המשקל הכולל של הקבצים מגיע לכמעט 11 גיגה בייט בגלל ייצוג בפורמט float32 שמנפח את הנפח בזיכרון. כדי להריץ אותו מקומית בצורה חלקה תצטרכו כרטיס מסך עם לפחות 16 גיגה בייט של זיכרון גרפי, אלא אם תמירו אותו לדיוק נמוך יותר כמו float16.

הוא נתמך ישירות בספריית transformers מגרסה 4.56 ומעלה. אם אתם צריכים רק לחלץ כמה עמודים בודדים מדי פעם ולא בונים קו עיבוד של אלפי מסמכים פרטיים, עדיף להשתמש בממשק מנוהל חיצוני במקום להחזיק שרת ייעודי כבד באוויר.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="microsoft/kosmos-2.5")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 10.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• ckpt.pt6.2 GB
• model-00001-of-00002.safetensors5.0 GB
• model-00002-of-00002.safetensors503.4 MB
• tokenizer.json8.9 MB
• receipt_00008.png1.9 MB
• output.png1.7 MB
• tokenizer_config.json1.4 MB
• model.safetensors.index.json56.5 KB
• README.md6.2 KB
• config.json4.1 KB
• ocr.py2.5 KB
• .gitattributes1.6 KB
• md.py1.1 KB
• special_tokens_map.json629 B
• generation_config.json178 B
• preprocessor_config.json107 B

הרישיון

הפרויקט מופץ ברישיון MIT, שזה הרישיון הפתוח והנוח ביותר שיש. אפשר להשתמש בו למוצרים מסחריים, לשנות את הקוד, לשלב אותו במערכות פנימיות ולמכור שירותים שמבוססים עליו, בלי צורך לחשוף את הקוד שלכם. הדרישה היחידה היא לשמור על הודעת זכויות היוצרים של מיקרוסופט בתוך הקבצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗