document-image-transformer

מה זה

אתם מעלים תמונת מסמך לממשק, והוא מחזיר סיווג של סוג המסמך מתוך 16 קטגוריות שונות. הדוגמאות המובנות כוללות מודעת פרסומת ישנה של קוקה קולה, מאמר מדעי ומכתב רשמי, שנועדו להמחיש את סוגי הדפים שהמערכת מזהה.

מאחורי הקלעים רץ המודל microsoft/dit-base-finetuned-rvlcdip באמצעות pipeline של Hugging Face לסיווג תמונות. המודל אומן מראש על מאגר של 42 מיליון מסמכים ועבר כוונון עדין על RVL-CDIP, שמכיל 400,000 תמונות בשחור לבן שמחולקות שווה בשווה בין המחלקות השונות.

מתאים ל

• סיווג מסמכים ארכיוניים

  מיון מהיר של סריקות ישנות באנגלית לפי קטגוריות כמו מכתבים או פרסומות.

• בדיקת המודל DiT

  בחינה ויזואלית ראשונית של ביצועי המודל ישירות בדפדפן לפני הטמעה בפיתוח.

• הפרדת מאמרים מדעיים

  זיהוי דפים של פרסומים מדעיים מתוך ערמת קבצים סרוקים.

איפה זה נופל

הכלי מסווג בלבד ולא מחלץ טקסט, כך שאין כאן OCR או קריאת תוכן של ממש. הוא מוגבל אך ורק ל־16 הקטגוריות שעליהן אומן המודל במאגר RVL-CDIP, שמורכב כולו ממסמכים היסטוריים בשחור לבן באנגלית. אם תעלו מסמך ישראלי מודרני, חשבונית בעברית או טופס צבעוני מורכב, אין לדעת איך הוא יתמודד איתם וסביר להניח שהסיווג יפספס.

איך משתמשים

גוררים תמונה לתיבה או לוחצים על אחת משלוש הדוגמאות בתחתית הדף כדי לטעון אותה מיד. אין צורך בהרשמה או התחברות לחשבון.

האפליקציה רצה על חומרת cpu-basic בסיסית, כך שהעיבוד מתבצע על מעבד רגיל ולא על מאיץ גרפי. זה אומר שהניתוח ייקח כמה שניות לכל תמונה ולא יקרה ברגע, במיוחד אם יש עומס של משתמשים נוספים במקביל.

הרישיון

בעמוד האפליקציה לא דווח רישיון שימוש. המשמעות היא שאין תנאים משפטיים ברורים לגבי שימוש מסחרי בקוד ההדגמה, וכדאי לבדוק את הרישיון המקורי של המודל עצמו לפני שמשלבים אותו במערכות שלכם.

הרישיון המלא ב־Hugging Face ↗