nemotron-ocr-v2
קוד פתוחnvidiaother2026-04-01
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
פתרון ראיית מחשב ממוקד לחילוץ טקסט עם חיזוי סדר קריאה. הוא שוקל פחות מגיגהבייט אחד ומגיע לקצב עיבוד חריג של 34 עד 40 עמודים בשנייה.
- 527 MBמשקל הקבצים
- 1,369הורדות בחודש
- 255לייקים
מה זה
מדובר במודל שמפרק את עבודת הזיהוי לשלושה חלקים נפרדים. תחילה רשת קונבולוציה מאתרת את מיקום הטקסט בתמונה, אחריה מודל שפה מבוסס טרנספורמר מתעתק את האותיות, ולבסוף מודל יחסים מארגן את הפסקאות לפי סדר הקריאה ההגיוני שלהן. החלוקה הזו מונעת מהטקסט להישפך כרצף מילים חסר פשר במסמכים מרובי עמודות, טבלאות ותרשימים.
הוא מגיע בשתי תצורות, גרסה ייעודית לאנגלית עם 53,831,335 פרמטרים וגרסה רב־לשונית עם 83,853,044 פרמטרים. במבחני הביצועים של OmniDocBench על כרטיס A100 יחיד, הגרסה הרב־לשונית הציגה קצב של 34.7 עמודים בשנייה. זה מהיר פי 20 ויותר מכלים כמו PaddleOCR ו־OpenOCR שנבדקו מולו, אף שמדד שגיאות העריכה שלו באנגלית מעט גבוה יותר בהשוואה אליהם. במבחני SynthDoG הוא הוביל בבירור על מודלים מתחרים בשפות מזרח אסיה וברוסית.
מתאים ל
- הכנת מסמכים לצינורות RAG
הוא קורא 34 עמודים בשנייה ומפיק ישירות סדר קריאה נכון של פסקאות, מה שחוסך שלב עיבוד נוסף בחלוקה לטקסטים.
- סריקת טפסים ותרשימים
הוא מחלץ טקסט מתוך תרשימים וטבלאות יחד עם גבולות התיבה ומידת הוודאות של כל מילה.
- זיהוי אזורי טקסט בלבד
מצב הרצה ייעודי של שלב הזיהוי בלבד מקצץ 37% בצריכת הזיכרון ופולט רק קואורדינטות של אזורי טקסט.
איפה זה נופל
עברית לא נתמכת כאן בכלל. המודל מכסה רק אנגלית, רוסית, סינית, יפנית וקוריאנית, כך שעבור טקסט ישראלי מקומי אין מה לנסות אותו אפילו. גם במסמכים בשפות הנתמכות, הכרטיס מודה שאיכות התמונה וגופנים מסוגננים מדי פוגעים בדיוק התוצאה. במבחני סיבוב ב־270 מעלות ובטקסטים מעורבים של אנגלית וסינית, מדד שגיאות העריכה שלו קופץ בצורה חדה ומעיד על קושי מהותי בטיפול בטקסט שאינו מיושר כרגיל.
אותה משפחה
nemotron-ocr יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם אפשר להשתמש בו לזיהוי מסמכים בעברית?
לא. המודל אומן ותומך רק באנגלית, סינית, יפנית, קוריאנית ורוסית. הוא יפספס לחלוטין תווים בעברית ולא יחזיר תוצאות שמישות למסמכים מקומיים.
למה שההתקנה המקומית תיכשל למרות שיש לי PyTorch?
החבילה דורשת קומפילציה של תוסף C++ ייעודי בזמן ההתקנה. חייבים התאמה מדויקת בין גרסת ה־CUDA Toolkit המותקנת במערכת ההפעלה לבין גרסת ה־CUDA שעליה נבנה ה־PyTorch שלכם, יחד עם פייתון 3.12.
במה הגרסה הרב־לשונית נבדלת מהגרסה שמיועדת רק לאנגלית?
בגרסה הרב־לשונית מפענח הטקסט עמוק יותר עם שישה שכבות טרנספורמר לעומת שלוש, ואוצר המילים שלו גדל מ־855 תווים ל־14,244 תווים. ההבדל הזה מעלה את משקל המודל מ־53 מיליון פרמטרים ל־83 מיליון.
איך מריצים
ההרצה דורשת סביבת לינוקס, פייתון בגרסה 3.12 בלבד, ומעבד גרפי של אנבידיה מארכיטקטורות Ampere, Lovelace, Hopper או Blackwell. ההתקנה מורכבת מהרגיל, משום שהיא מקמפלת הרחבת C++ ו־CUDA מקומית שחייבת לתאום במדויק את גרסת ה־PyTorch במערכת. לחלופין, אנבידיה מספקת קונטיינר מוכן שחוסך את כאב הראש הזה של הקומפילציה.
בזמן ריצה המודל גמיש מאוד. אם דרוש רק מיקום תיבות הטקסט ללא פענוח התוכן, אפשר לכבות את המפענח וכך לחסוך כ־37% מצריכת זיכרון הווידאו. באותו אופן, ביטול רכיב סדר הקריאה מקצץ כ־35% מזיכרון הווידאו עבור מקרים פשוטים. אם אין לכם חומרת שרת תואמת של אנבידיה או שאתם מחפשים הרצה מהירה מחוץ ללינוקס, תצטרכו להשתמש במיקרו־שירותים דרך Build.Nvidia.com.
pip install -U huggingface_hub hf download nvidia/nemotron-ocr-v2
הקבצים
140 קבצים במאגר, 527 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
- v2_english/detector.pth182.0 MB
- v2_multilingual/detector.pth182.0 MB
- v2_multilingual/recognizer.pth144.5 MB
- v2_english/recognizer.pth24.6 MB
- v2_multilingual/relational.pth9.2 MB
- v2_english/relational.pth9.0 MB
- ocr-example-input-1.png224.9 KB
- nemotron-ocr/cpp/third_party/clipper/clipper.cpp141.7 KB
- v2_multilingual/charset.txt127.3 KB
- pixi.lock92.3 KB
- nemotron-ocr/uv.lock76.8 KB
- nemotron-ocr/cpp/trove/doc/transpose.png69.9 KB
- nemotron-ocr/cpp/non_maximal_suppression/cuda_non_maximal_suppression.cu61.3 KB
- nemotron-ocr/src/nemotron_ocr/inference/pipeline_v2.py36.8 KB
- nemotron-ocr/src/nemotron_ocr/inference/models/detector/regnet.py28.0 KB
- nemotron-ocr/cpp/geometry.h26.9 KB
- THIRD_PARTY_NOTICES.md26.0 KB
- nemotron-ocr/src/nemotron_ocr/inference/pipeline.py25.0 KB
- README.md23.7 KB
- nemotron-ocr/cpp/trove/trove/transpose.h23.6 KB
- LICENSE21.8 KB
- nemotron-ocr/src/nemotron_ocr/inference/models/relational.py17.7 KB
- nemotron-ocr/cpp/third_party/clipper/clipper.hpp15.4 KB
- nemotron-ocr/cpp/beam_decode/beam_decode.cpp15.3 KB
- nemotron-ocr/cpp/non_maximal_suppression/non_maximal_suppression.cpp14.6 KB
- nemotron-ocr/cpp/trove/doc/contiguous.png14.3 KB
- nemotron-ocr/cpp/trove/doc/random.png12.8 KB
- nemotron-ocr/cpp/non_maximal_suppression/nms_kd_tree.h12.6 KB
- nemotron-ocr/cpp/trove/tests/benchmark.cu12.4 KB
- nemotron-ocr/cpp/better_grid_sample/gpu_indirect_grid_sample.cu11.8 KB
- nemotron-ocr/cpp/text_region_grouping/text_region_grouping.cpp11.1 KB
- nemotron-ocr/src/nemotron_ocr/inference/encoders/recognizer_encoder.py10.6 KB
- nemotron-ocr/cpp/quad_rectify/quad_rectify_gpu.cu10.5 KB
- nemotron-ocr/cpp/beam_decode/ngram_lm_base.cpp10.3 KB
- nemotron-ocr/src/nemotron_ocr/inference/models/detector/fots_detector.py10.2 KB
- nemotron-ocr/src/nemotron_ocr/inference/post_processing/data/text_region.py9.6 KB
- nemotron-ocr/cpp/trove/trove/aos.h9.0 KB
- nemotron-ocr/cpp/text_region_grouping/dense_relations_to_graph.cpp8.9 KB
- nemotron-ocr/cpp/graph_detection/encode_util.cpp8.4 KB
- nemotron-ocr/cpp/trove/trove/array.h7.5 KB
הרישיון
הרישיון מוגדר תחת NVIDIA Open Model License Agreement לצד אזכור של Apache 2.0, והוא מוגדר במפורש כמותר לשימוש מסחרי. עם זאת, השימוש כפוף להסכם הייעודי של אנבידיה, מה שאומר שחובה לקרוא את התנאים המשפטיים של ההסכם לפני הטמעה במוצר סופי שמופץ למשתמשים חיצוניים.