layoutxlm-base

מה זה

מדובר בגרסה רב לשונית של LayoutLMv2, שפותחה כדי להתמודד עם מסמכים סרוקים עשירי מבנה כמו חשבוניות, קבלות וטפסים רשמיים. בניגוד למודלי שפה רגילים שרואים רק מחרוזת טקסט שטוחה, הוא קורא במקביל את תוכן הטקסט, את הפיקסלים של התמונה ואת המיקום הגיאומטרי של כל מילה בעמוד דרך תיבות תוחמות.

לפי המפתחים שלו, הוא עקף את מודלי הבסיס הקודמים במבחני XFUND, מה שאומר שהוא מחזיק בהבנה טובה יותר של קשרים מרחביים בין שדות לערכים על פני שפות שונות. אם אתם מעבדים מסמכים שאינם באנגלית וזקוקים לשמירה על הקשר שבין המיקום הפיזי של התווית לבין התוכן שלה, זו בדיוק הנקודה שבה הוא אמור לתת מענה עדיף על פני מודלי שפה רגילים.

מתאים ל

• חילוץ שדות מטפסים רב לשוניים

  שיוך מדויק בין תוויות לערכים בטפסים בשפות שונות, בזכות השילוב של מיקום המילים בעמוד.

• סיווג מסמכים סרוקים

  זיהוי סוג המסמך על פי המבנה החזותי והטקסטואלי שלו יחד, גם כשהתבנית משתנה.

• מחקר אקדמי על עיבוד מסמכים

  בדיקת יכולות הבנת מבנה מרחבי בשפות שונות תחת רישיון פתוח למחקר שאינו מסחרי.

איפה זה נופל

חלון ההקשר מוגבל ל־514 טוקנים בלבד. זה אומר שמסמכים ארוכים, חוזים מרובי עמודים או אפילו עמוד בודד עם מלל צפוף מדי ייחתכו, ותצטרכו לפצל אותם ידנית ולחבר את התוצאות. בנוסף, המודל תלוי לחלוטין באיכות ה־OCR שתספקו לו. טעות בזיהוי הטקסט או במיקום התיבות בקלט תגרור פגיעה ישירה בניתוח.

איך מריצים

המשקל הכולל של הקבצים עומד על 1.4 גיגה בייט בפורמט של ספריית transformers, עם 12 שכבות. זה גודל נוח מאוד שרץ בלי בעיה על מעבד גרפי ביתי פשוט או אפילו על מעבד רגיל של שרת, בלי לדרוש משאבי מחשוב כבדים במיוחד.

ההפעלה שלו דורשת הכנה מוקדמת, כי אי אפשר סתם לזרוק אליו טקסט. צריך להריץ מנוע זיהוי תווים אופטי כדי לחלץ את המילים והקואורדינטות שלהן, להכין את התמונה, ורק אז להזין הכל יחד למודל. אם אין לכם תשתית מוכנה לעיבוד תמונה וקואורדינטות, השימוש בו ידרוש עבודת פיתוח נוספת מסביב.

from transformers import pipeline

pipe = pipeline("text-generation", model="microsoft/layoutxlm-base")
print(pipe("שלום"))

הקבצים

8 קבצים במאגר, 1.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin1.5 GB
• tokenizer.json9.1 MB
• sentencepiece.bpe.model5.1 MB
• README.md1.0 KB
• config.json1.0 KB
• config.4.13.0.json947 B
• .gitattributes690 B
• preprocessor_config.json135 B

הרישיון

הרישיון הוא cc-by-nc-sa-4.0. המשמעות פשוטה: אסור להשתמש במודל הזה לצרכים מסחריים, נקודה. אם אתם בונים מוצר רווחי או כלי פנימי לחברה עסקית, אתם מפרים את תנאי השימוש. כל שימוש מותר למחקר או פיתוח לא מסחרי מחייב גם שיתוף תחת אותו רישיון ומתן קרדיט ליוצרים.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗