Multimodal-OCR3
רץ בדפדפןprithivMLmodsapache-2.02025-10-17
הכלי מפעיל ארבעה מודלים שונים לחילוץ טקסט מתמונות ומסמכים ישירות לפורמט מרקדאון. הוא מיועד למי שרוצה להשוות ביצועי OCR של מודלי ראייה מתקדמים בלי להרים סביבת פיתוח.
- —הורדות בחודש
- 69לייקים
מה זה
אתם מעלים תמונה של מסמך, קבלה או דף סרוק, כותבים הוראה קצרה או בוחרים ברירת מחדל, ומקבלים פלט טקסטואלי נקי שמוכן להעתקה או להורדה. בממשק אפשר לבחור איזה מודל יבצע את העבודה מתוך ארבע אפשרויות שונות לחלוטין.
מתחת למכסה המנוע רצים ארבעה מודלים מובילים בתחום: Chandra של חברת datalab-to, מודל Nanonets-OCR2-3B, מודל olmOCR-2-7B-1025 מבית Allen Institute for AI, וגרסה מקומית של Dots.OCR. רובם מבוססים על ארכיטקטורות ראייה שפה כמו Qwen2.5-VL ומשתמשים בהאצת flash-attn2 כדי לקרוא את הטקסט ישירות מפיקסלים.
הדוגמאות המוכנות בממשק מדגימות משימות טיפוסיות. הן כוללות המרת מסמך למרקדאון דרך Nanonets, חילוץ תוכן מלא עם olmOCR וקריאת תמונה כללית עם Chandra.
מתאים ל
- המרת צילום מסמך למרקדאון
מעלים תמונה של דף מודפס ומקבלים טקסט מעוצב עם כותרות ופסקאות שמוכן לעריכה.
- השוואת מודלי OCR
מריצים את אותה התמונה מול Nanonets, Chandra ו־olmOCR כדי לבדוק מי מהם מדייק יותר.
- חילוץ טקסט מורכב מטבלאות
מעבירים תצלום של טבלה או קבלה ומקבלים ייצוג טקסטואלי מובנה בלי להקליד ידנית.
איפה זה נופל
האפליקציה מקבלת תמונות בלבד ואינה מטפלת ישירות בקובצי PDF מרובי עמודים. כל עמוד דורש צילום והעלאה נפרדת. בנוסף, חלון הזמן של המעבד הגרפי מוגבל לשישים שניות, כך שתמונות ענקיות או טקסטים צפופים במיוחד עלולים להיחתך לפני שהמודל מסיים לפלוט את כל המילים.
אף אחד מהמודלים לא תוכנן במקור בדגש על עברית. רוב הסיכויים שמסמכים בעברית, כתב יד מקומי או טבלאות מימין לשמאל יפיקו שגיאות קשות או ג׳יבריש מוחלט בהשוואה לאנגלית.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא, האפליקציה פתוחה וחינמית לחלוטין בדפדפן. היא רצה על תשתית שיתופית ולכן אין צורך להזין פרטי תשלום או מפתח API.
האם המידע והתמונות שלי נשמרים?
התמונות מומרות לקוד base64 ונשלחות לעיבוד בזיכרון השרת בזמן הריצה. למרות שאין מאגר גלוי ששומר את הקבצים, הנתונים עוברים דרך שרת מרוחק ולכן עדיף להימנע מהעלאת מידע פרטי.
האם אפשר להריץ את זה מקומית במחשב שלי?
כן, הקוד מבוסס Gradio וספריות Transformers סטנדרטיות, והוא זמין תחת רישיון apache-2.0. כדי להריץ את המודלים תצטרכו כרטיס מסך חזק של אנבידיה עם תמיכה ב־BF16 והתקנה של flash-attn2.
במה הממשק הזה שונה מהרצת המודלים ישירות?
הממשק מרכז ארבעה מודלים שונים במקום אחד וחוסך את ההתקנה וההורדה של משקלי המודלים הכבדים. החיסרון הוא שאין לכם שליטה על תהליך עיבוד מקדים או על עיבוד אצווה של קבצים רבים.
איך משתמשים
טוענים תמונה בכפתור ההעלאה, בוחרים לשונית עם המודל הרצוי ולוחצים על כפתור ההרצה. אפשר גם ללחוץ על אחת הדוגמאות המוכנות כדי לטעון אותה מיד. אין צורך בהתחברות או בהרשמה.
הקוד רץ על חומרת zero-a10g שמקצה מעבד גרפי A10G לפי דרישה עם מגבלת זמן של שישים שניות לריצה. אם השרת עמוס או שהמעבד הגרפי בדיוק נרדם, תצטרכו להמתין כמה שניות להתעוררות שלו לפני שהטקסט מתחיל לזרום למסך.
הרישיון
האפליקציה מפורסמת תחת רישיון apache-2.0, שמתיר שימוש חופשי, שינוי והפצה כולל שימוש מסחרי. עם זאת, התמונות והטקסט שאתם מעלים מועברים ומעובדים בשרתי Hugging Face, ולכן לא מומלץ להעלות מסמכים רגישים, דוחות כספיים או מידע אישי מזהה.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים