GPT
הוספת כלי
L

layoutlmv3-base

קוד פתוח

microsoftcc-by-nc-sa-4.02022-04-18

  • transformers
  • pytorch
  • tf
  • onnx
  • safetensors

microsoft עומדים גם מאחורי Sho, ויש עליו סקירה כאן.

מודל מולטימודלי קטן של מיקרוסופט לניתוח מסמכים שמשלב טקסט ותמונה יחד. הוא מתאים למי שרוצה לחלץ מידע מטפסים וקבלות ולא להסתמך רק על טקסט גולמי.

  • 125Mפרמטרים
  • 514טוקנים בהקשר
  • 1.9 GBמשקל הקבצים
  • 1,157,234הורדות בחודש

מה זה

הארכיטקטורה כאן מחברת בין הטקסט לבין המיקום והמראה החזותי שלו על הדף. במקום להריץ מודל שרואה רק מילים או כזה שרואה רק פיקסלים, הוא מאומן מראש להבין את המבנה המרחבי של מסמכים, כולל קשרים בין שדות, טבלאות ופסקאות.

בפועל הוא מיועד למשימות של הבנת טפסים, עיבוד חשבוניות, מענה חזותי על שאלות מתוך מסמך וסיווג תמונות של מסמכים. הגודל שלו צנוע מאוד בהשוואה למודלים מודרניים, ולכן הוא לא מייצר טקסט חופשי אלא משמש בסיס לכוונון עדין על משימות חילוץ וסיווג מוגדרות.

מתאים ל

  • חילוץ שדות מטפסים

    זיהוי ערכים לפי המיקום הגיאוגרפי שלהם בדף, כמו תאריך או סכום שיושבים לצד כותרת.

  • סיווג תמונות של מסמכים

    מיון אוטומטי של סריקות לסוגים כמו קבלות, מכתבים רשמיים או דוחות כספיים.

  • ניתוח מבנה ויזואלי

    חלוקה של עמוד סרוק לבלוקים לפי כותרות, טבלאות ופסקאות טקסט.

איפה זה נופל

חלון ההקשר עומד על 514 טוקנים בלבד, מה שאומר שהוא מתמודד עם דף בודד או קטע קצר ולא מסוגל לקרוא חוזים מרובי עמודים ברצף. בנוסף, המודל הזה תומך רשמית באנגלית בלבד. אם יש לכם מסמכים בעברית, אין פה התאמה מוכנה מראש, ותצטרכו לבדוק בעצמכם איך הטוקנייזר והמשקלים מתמודדים עם שפות מימין לשמאל לפני שאתם בונים עליו למשהו אמיתי.

שאלות
נפוצות

אפשר להכניס את המודל הזה למוצר שאני מוכר ללקוחות?

לא. הרישיון שלו אוסר שימוש מסחרי באופן מפורש. אם אתם בונים שירות בתשלום או כלי פנימי שמייצר הכנסה לחברה, תצטרכו לחפש חלופה חופשית לחלוטין.

איך הוא מתמודד עם טפסים וחשבוניות בעברית?

הוא מאומן על אנגלית בלבד. הוא לא הותאם לכיווניות מימין לשמאל או לאוצר המילים בעברית, כך שלא מומלץ להסתמך עליו למסמכים מקומיים בלי אימון מקיף מחדש.

איך מריצים

עם גודל קבצים של פחות משני ג'יגה וסביב 125 מיליון פרמטרים, כל כרטיס מסך ביתי בסיסי מריץ אותו בלי להזיע, ואפשר לעשות איתו אינפרנס אפילו על מעבד רגיל. הוא רץ ישירות דרך ספריית transformers של פייתון.

הוא שווה את הטרחה המקומית רק אם יש לכם דאטהסט ייעודי לאימון עבור הטפסים שלכם. אם אתם סתם צריכים לזרוק פנימה חשבונית מזדמנת ולקבל מפתח וערך בלי לאמן שכבות סיווג בעצמכם, עדיף לפנות לשירותי ענן מוכנים שמחזירים תשובה ישירה.

from transformers import pipeline

pipe = pipeline("text-generation", model="microsoft/layoutlmv3-base")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 1.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא cc-by-nc-sa-4.0. המשמעות ברורה וחד משמעית: אסור להשתמש במודל הזה לשימוש מסחרי מכל סוג. הוא מוגבל למחקר או פרויקטים פנימיים לא רווחיים, וכל שינוי או פיתוח שמתבסס עליו חייב להיות מופץ תחת אותו הרישיון המדויק.

  • שינוי הקוד
  • חובת ייחוס
  • שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗