nemotron-ocr-v1

מה זה

מדובר במודל OCR היברידי שמחולק לשלושה חלקים נפרדים. יש לו מזהה מיקום מבוסס RegNetY-8GF עם 45,268,472 פרמטרים, מודול זיהוי טקסט מבוסס שנאי עם 4,944,346 פרמטרים, ומודל יחסים עם 2,254,422 פרמטרים שאחראי להבין את מבנה הדף. בסך הכול יש כאן 52,467,240 פרמטרים. התפקיד שלו הוא לקחת תמונה, למצוא איפה כתוב, להמיר את זה למחרוזות ולהחזיר קואורדינטות של תיבות חוסמות יחד עם ציוני ביטחון.

במבחנים מול PaddleOCR הוא מציג שגיאת תווים של 0.1633 לעומת 0.2029, ושגיאת מילים של 0.1203 מול 0.2748. המשמעות בפועל היא שהוא קורא מילים ברצף מדויק יותר מטקסט חופשי. מנגד, בחילוץ טבלאות לפי מדד TEDS שני המודלים עומדים בדיוק על 0.781, כלומר הוא לא נותן יתרון במבנה פנימי של טבלאות.

מתאים ל

• צינורות RAG למסמכים

  חילוץ פסקאות ובלוקים של טקסט מסריקות של קובצי PDF עבור מנועי חיפוש פנימיים באנגלית.

• זיהוי שלטים בתמונות

  קריאת טקסט באנגלית מתוך תמונות שצולמו בשטח ומכילות רקעים מורכבים.

• סריקת קבלות ומסמכי חשבון

  זיהוי שדות ומבנה כללי בקבלות באנגלית תוך שימוש במודל היחסים להבנת סדר התוכן.

איפה זה נופל

המגבלה הכי משמעותית היא שהמודל תומך באנגלית בלבד. אם יש לכם מסמכים בעברית או תמונות עם טקסט משולב, הוא פשוט לא מיועד לזה. בנוסף, הכרטיס מודה מפורשות שהוא מתקשה ועלול לטעות באיכות תמונה ירודה או בגופנים מסוגננים במיוחד, ובחילוץ טבלאות הוא לא מציג שום שיפור לעומת חלופות קודמות.

אותה משפחה

nemotron-ocr יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

בשביל להריץ אותו מקומית צריך מערכת הפעלה Linux בארכיטקטורת amd64, כרטיס מסך של NVIDIA וערכת CUDA 12.8. בנוסף נדרשת סביבת Python 3.12 ומהדר C++17 עם תמיכה ב־OpenMP כדי לבנות הרחבות ייעודיות.

אם אין לכם כוח להגדיר ספריות הידור ודרייברים ידנית, NVIDIA מספקת קובץ Docker שרץ ישירות על גבי קונטיינר מוכן. למי שאין לו כרטיס גרפי מתאים בשרת, המודל זמין גם כשירות מנוהל תחת NVIDIA NIM.

pip install -U huggingface_hub
hf download nvidia/nemotron-ocr-v1

הקבצים

137 קבצים במאגר, 202 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• checkpoints/detector.pth181.7 MB
• checkpoints/recognizer.pth19.8 MB
• checkpoints/relational.pth9.0 MB
• ocr-example-input-1.png224.9 KB
• nemotron-ocr/cpp/third_party/clipper/clipper.cpp141.7 KB
• pixi.lock92.3 KB
• nemotron-ocr/uv.lock76.8 KB
• nemotron-ocr/cpp/trove/doc/transpose.png69.9 KB
• nemotron-ocr/cpp/non_maximal_suppression/cuda_non_maximal_suppression.cu61.3 KB
• nemotron-ocr/src/nemotron_ocr/inference/models/detector/regnet.py28.0 KB
• nemotron-ocr/cpp/geometry.h26.9 KB
• THIRD_PARTY_NOTICES.md26.0 KB
• nemotron-ocr/cpp/trove/trove/transpose.h23.6 KB
• LICENSE21.8 KB
• nemotron-ocr/src/nemotron_ocr/inference/encoders/recognizer_encoder.py19.8 KB
• nemotron-ocr/src/nemotron_ocr/inference/pipeline.py17.2 KB
• README.md17.0 KB
• nemotron-ocr/src/nemotron_ocr/inference/encoders/relational_encoder.py16.1 KB
• nemotron-ocr/cpp/third_party/clipper/clipper.hpp15.4 KB
• nemotron-ocr/cpp/beam_decode/beam_decode.cpp15.3 KB
• nemotron-ocr/cpp/non_maximal_suppression/non_maximal_suppression.cpp14.6 KB
• nemotron-ocr/cpp/trove/doc/contiguous.png14.3 KB
• nemotron-ocr/src/nemotron_ocr/inference/models/blocks.py13.0 KB
• nemotron-ocr/cpp/trove/doc/random.png12.8 KB
• nemotron-ocr/cpp/non_maximal_suppression/nms_kd_tree.h12.6 KB
• nemotron-ocr/cpp/trove/tests/benchmark.cu12.4 KB
• nemotron-ocr/cpp/better_grid_sample/gpu_indirect_grid_sample.cu11.8 KB
• nemotron-ocr/src/nemotron_ocr/inference/models/relational.py11.7 KB
• nemotron-ocr/src/nemotron_ocr/inference/models/detector/fots_detector.py11.1 KB
• nemotron-ocr/cpp/text_region_grouping/text_region_grouping.cpp11.1 KB
• nemotron-ocr/cpp/quad_rectify/quad_rectify_gpu.cu10.5 KB
• nemotron-ocr/cpp/beam_decode/ngram_lm_base.cpp10.3 KB
• nemotron-ocr/src/nemotron_ocr/inference/post_processing/data/text_region.py9.6 KB
• nemotron-ocr/cpp/trove/trove/aos.h9.0 KB
• nemotron-ocr/cpp/text_region_grouping/dense_relations_to_graph.cpp8.9 KB
• nemotron-ocr/cpp/graph_detection/encode_util.cpp8.4 KB
• checkpoints/charset.txt8.2 KB
• nemotron-ocr/cpp/trove/trove/array.h7.5 KB
• nemotron-ocr/cpp/quad_rectify/quad_rectify_cpu.cpp6.9 KB
• nemotron-ocr/cpp/non_maximal_suppression/cpu_non_maximal_suppression.cpp6.9 KB

הרישיון

המודל מופץ תחת רישיון NVIDIA Open Model License Agreement, בעוד שסקריפטי העיבוד משוחררים תחת Apache 2.0. מותר להשתמש בו במוצרים מסחריים, אך השימוש כפוף לתנאים ולהגבלות הספציפיים שהוגדרו בהסכם של אנבידיה.

הרישיון המלא בעמוד המודל ↗