Multimodal-OCR

מה זה

אתם מעלים תמונה, בוחרים מודל מתוך הרשימה ומקבלים את הטקסט שחולץ ממנה ישירות למסך. הקוד טוען חמישה מודלים שונים לחלוטין, ביניהם Nanonets OCR2 3B, מודל Qwen2 VL OCR 2B, וגם גרסאות כבדות יותר כמו RolmOCR, olmOCR 7B ודגם Aya Vision 8B. אפשר גם להזין הנחיית טקסט ספציפית לצד התמונה, למשל לבקש חילוץ מדויק או תיאור חזותי שמשלב את הטקסט הנראה לעין.

הממשק כולל חמש דוגמאות מובנות מראש של תמונות עם פרומפטים מותאמים לכל אחד מהמודלים. אפשר לשחק עם פרמטרי יצירה כמו טמפרטורה, top p, ענישה על חזרתיות ומגבלת אורך התוכן, מה שנותן שליטה טובה על התוצאה הסופית ביחס לכלים סגורים.

מתאים ל

• חילוץ טקסט מתצלום מסמך

  מעלים צילום של עמוד או פתק כתוב ומקבלים את הטקסט מועתק ישירות לעבודה שוטפת.

• השוואת מודלי ראייה ממוחשבת

  מריצים את אותה תמונה מול מודלים שונים כמו RolmOCR או Aya Vision לבדיקת דיוק.

• תיאור תוכן וחילוץ משולב

  שולחים תמונה עם הנחיה למודל Aya Vision כדי לקבל פירוט ויזואלי יחד עם הטקסט הכתוב.

איפה זה נופל

זה כלי לבדיקה של תמונה בודדת בכל פעם, ולא מערכת לעיבוד אצוות של מאות מסמכים או קובצי PDF מרובי עמודים. אם אתם צריכים לסרוק חוזה שלם, תצטרכו להעלות עמוד אחרי עמוד באופן ידני.

ההדגמה מציגה חמישה מודלים שונים אבל לא משווה ביניהם במקביל. כדי לראות מי מהם מדייק יותר על מסמך מסוים תצטרכו להריץ כל אחד בנפרד, וצריך לזכור שהמודלים הקטנים יותר עלולים לפספס שורות צפופות או טקסט לא מיושר.

איך משתמשים

לוחצים על כפתור ההעלאה, בוחרים תמונה או מקליקים על אחת מחמש הדוגמאות המוכנות, ובוחרים בלשונית המודל הרצוי. אין צורך בהתחברות מיוחדת כדי להריץ בדיקה ישירות מהדפדפן.

הקוד רץ על חומרת zero a10g שמקצה מעבד גרפי לפי דרישה. זמן הריצה המוגדר מראש בקוד עומד על שישים שניות, אבל אם יש עומס של משתמשים אחרים, המערכת תכניס אתכם לתור קצר עד שהמעבד יתפנה ויטען את המודל הנבחר.

הרישיון

הפרויקט מפורסם ברישיון קוד פתוח מסוג Apache 2.0, שמאפשר שימוש חופשי ושינוי של הקוד. התמונות שאתם מעלים מועברות לשרת שמריץ את המודל לצורך העיבוד, ולכן לא מומלץ להעלות לשם מסמכים רגישים או מידע אישי מזהה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗