dots.ocr

מה זה

dots.ocr מגיע עם שלושה מיליארד פרמטרים ומבוסס על שפת אם של 1.7 מיליארד פרמטרים. במקום להשתמש במערכת מסורבלת שמשלבת מודל כמו YOLO לזיהוי מיקומים ומודל נפרד לקריאת הטקסט, הוא עושה את שני הדברים יחד דרך פרומפט. שינוי ההנחיה קובע אם תקבלו רק את תיבות המיקום של אלמנטים בעמוד, או פיענוח מלא למרק-דאון ששומר על מבנה הטבלאות וסדר הזרימה של הטקסט.

במבחני ביצועים של OmniDocBench על מסמכים באנגלית ובסינית, הוא השיג שגיאת עריכה כוללת נמוכה יותר מכלים מובילים ומשתווה בעבודה מול טבלאות למודלים ענקיים כמו Gemini 2.5 Pro. המבחנים על דוחות כספיים, עיתונים ומאמרים אקדמיים הראו זיהוי חד, בעיקר סביב פירוק של מבנים מרובי עמודות ושמירה על סדר קריאה הגיוני, אם כי בנוסחאות מתמטיות יש מודלים ייעודיים שעדיין עוקפים אותו.

מתאים ל

• המרת דוחות כספיים

  חילוץ מדויק של טבלאות מורכבות ממסמכי PDF סרוקים אל מבנה נתונים מסודר.

• זיהוי מבנה בעמוד

  קבלת תיבות גבול של תמונות, נוסחאות וטקסט בלי להרים שרת נפרד ל־YOLO.

• עיבוד מאמרים אקדמיים

  פיענוח מסמכים מרובי עמודות ושמירה על סדר הקריאה התקין לכל אורך הדף.

איפה זה נופל

בסריקות ישנות של מסמכים ובמתמטיקה מורכבת הוא נופל מול מודלים מסחריים גדולים. במבחן olmOCR על סריקות ישנות עם נוסחאות הוא קיבל ציון של 64.2 לעומת 75.5 של GPT-4o, ועל סריקות ישנות בכלל עמד על 40.9 בלבד. בנוסף, זיהוי של כתבי יד והערות פחות יציב אצלו ביחס לדפוס סטנדרטי. אם יש לכם צורך בעברית, קחו בחשבון שהבנצ'מרקים בכרטיס המודל נבדקו בעיקר באנגלית ובסינית, ואין התחייבות רשמית לגבי יכולות הפענוח של אלפבית שמי, כך שתצטרכו לבדוק את זה ידנית לפני שתבנו עליו.

איך מריצים

המשקל הכולל של הקבצים עומד על 5.7 ג'יגה בייט בפורמט bfloat16. זה אומר שאפשר להריץ אותו בנוחות על כרטיס מסך בודד של 12 או 16 ג'יגה זיכרון, כמו כרטיסים ביתיים חזקים או שרת ענן פשוט וזול.

המפתחים ממליצים להריץ אותו ישירות דרך vLLM גרסה 0.9.1 או באמצעות תמונת ה־Docker הייעודית שלהם. שימו לב שיש כרגע מגבלה טכנית מוזרה שמחייבת לשמור את המשקלים בתיקייה בלי נקודות בשם כדי למנוע קריסה, עד שהתמיכה ב־Transformers תושלם במלואה.

pip install -U huggingface_hub
hf download dots-studio/dots.ocr

הקבצים

20 קבצים במאגר, 5.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors4.3 GB
• model-00002-of-00002.safetensors1.8 GB
• tokenizer.json7.0 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• NOTICE80.5 KB
• model.safetensors.index.json52.3 KB
• README.md33.6 KB
• modeling_dots_vision.py20.0 KB
• modeling_dots_ocr_vllm.py17.5 KB
• dots.ocr LICENSE AGREEMENT15.5 KB
• tokenizer_config.json9.3 KB
• modeling_dots_ocr.py5.0 KB
• configuration_dots.py3.0 KB
• .gitattributes1.5 KB
• config.json1.5 KB
• chat_template.json1.1 KB
• special_tokens_map.json494 B
• preprocessor_config.json432 B
• generation_config.json74 B

הרישיון

המודל שוחרר ברישיון MIT חופשי לחלוטין. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצרים סגורים ולהפיץ אותו הלאה, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗