LayoutLMv2-FUNSD
רץ בדפדפןnielsrרישיון לא דווח2022-03-02
הדגמה שמזהה ומסווגת שדות בתוך טפסים סרוקים, ומיועדת למי שרוצה לבדוק חילוץ מידע ממסמכים באנגלית. מעלים תמונה של טופס ומקבלים אותה חזרה מסומנת.
- —הורדות בחודש
- 60לייקים
מה זה
אתם מעלים תמונה של טופס, והמערכת מחזירה את אותה תמונה כשהמילים ממוסגרות בצבעים לפי התפקיד שלהן: שאלות, תשובות, כותרות או סתם מלל אחר. יש בממשק גם קובץ דוגמה מוכן מראש בשם document.png כדי שאפשר יהיה לראות את התוצאה מיד.
מאחורי הקלעים רץ המודל microsoft/layoutlmv2-base-uncased שעבר התאמה מיוחדת על nielsr/funsd, מאגר של טפסים סרוקים מתויגים. הוא לא קורא רק את הטקסט אלא מסתכל גם על המיקום החזותי של כל מילה בדף כדי להבין אם מדובר בשדה למילוי או בכותרת.
מתאים ל
- בדיקת מבנה טפסים
זיהוי ויזואלי של כותרות, שדות מילוי וערכים בטפסים סרוקים באנגלית.
- הערכת LayoutLMv2
בחינה מהירה של יכולות המודל על מסמך בודד לפני שמטמיעים אותו בקוד.
- סיווג רכיבי דף
חלוקת המילים במסמך לקבוצות של שאלות ותשובות על גבי התמונה.
איפה זה נופל
הבעיה המרכזית היא שההדגמה פשוט לא רצה כרגע בגלל שגיאה בקוד או בסביבה. מעבר לזה, המודל אומן על מאגר באנגלית בלבד ומבוסס על גרסת uncased, כך שהוא לא רלוונטי לטפסים בעברית. הוא מחזיר רק תמונה מצוירת ולא נתונים בפורמט מסודר כמו JSON, כך שאי אפשר לחלץ מפה טקסט ישירות למערכת אחרת.
שאלות
נפוצות
האם האפליקציה עובדת כרגע בדפדפן?
לא. המצב שלה מוגדר כ־RUNTIME_ERROR, כך שכרגע אי אפשר להריץ אותה ישירות דרך האתר עד שיתקנו את השגיאה.
האם אפשר להריץ את זה מקומית במחשב?
כן. הקוד משתמש בספריות transformers ו־datasets, והמודל nielsr/layoutlmv2-finetuned-funsd זמין להורדה ולטעינה עצמאית בסביבת פייתון שלכם.
האם הכלי עובד על מסמכים בעברית?
לא. המודל שנטען הוא uncased ומאומן על מאגר FUNSD שמכיל מסמכים באנגלית בלבד, ולכן הוא לא יזהה נכון טקסט או מבנה בעברית.
במה האפליקציה שונה מהמודל עצמו?
האפליקציה רק עוטפת את המודל בממשק גרפי שמצייר תיבות על התמונה. המודל עצמו מחזיר סיווג לכל טוקן, שאותו אפשר לעבד בקוד לכל מבנה נתונים שתרצו.
איך משתמשים
גוררים תמונת טופס לתיבת הקלט, או בוחרים את דוגמת הטופס הקיימת, ולוחצים על Submit. לפי התיאור העיבוד לוקח כמה שניות, אבל בפועל הספייס נמצא כרגע במצב של שגיאת ריצה (RUNTIME_ERROR) ומוגדר על מעבד בסיסי, כך שהוא לא באמת יעבד את הבקשה בדפדפן כרגע.
הרישיון
הרישיון לא דווח במאגר. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד או בהדגמה הזו, ואי אפשר לדעת מראש מה המדיניות לגבי תמונות של מסמכים שמעלים אליה.