donut-base-finetuned-cord-v2

מה זה

מדובר במודל שמחבר מקודד ראייה מסוג Swin Transformer ישירות למפענח טקסט של BART. במקום לסרוק תמונה, לזהות קופסאות של מילים, להריץ עליהן זיהוי תווים ואז לנסות להבין את המבנה, הוא מקבל את התמונה הגולמית ופולט טקסט ברצף.

הגרסה הזו עברה אימון ייעודי על CORD, מאגר שמיועד לחילוץ מידע מקבלות ומסמכים דומים. ההבדל הגדול בינו לבין פתרונות מסורתיים באותו סדר גודל הוא הויתור המלא על מנועי זיהוי תווים חיצוניים, מה שחוסך שרשור שגיאות בין שלב הקריאה לשלב הפענוח של המסמך.

במשקל כולל של 774 מגה-בייט הוא נשאר קומפקטי מאוד ביחס ליכולת שלו להבין היררכיה חזותית של דף מודפס. המפתחים לא פירטו בכרטיס תוצאות מדידה מספריות, כך שהיכולת נשענת על ההתמחות הספציפית במבנה של קבלות מתוך המאגר המקורי.

מתאים ל

• פענוח קבלות דיגיטלי

  חילוץ פריטים ומחירים מקבלות סרוקות ישירות לטקסט בלי צורך במנוע OCR נוסף.

• אוטומציה לדוחות הוצאות

  שליפת סכומים ותאריכים ממסמכי רכישה קצרים על גבי חומרה מקומית וזולה.

• עיבוד מקומי ומאובטח

  המרת תמונות חשבונית לטקסט בשרת פנימי שלא מוציא מידע רגיש לרשת.

איפה זה נופל

האימון נעשה על מאגר CORD בלבד, ולכן הוא מותאם במיוחד לקבלות וחשבוניות במבנה דומה. אם תזרקו עליו חוזים, תעודות מזהות או מסמכים עמוסי פסקאות, הוא יתקשה מאוד לחלץ מידע רלוונטי. הצוות המקורי שפיתח אותו לא השאיר תיעוד מפורט בכרטיס המודל, אלא הפנה למאמר בלבד, כך שאין כאן מידע רשמי על ביצועים מחוץ למאגר האימון. חובה לבדוק אותו על סריקות אמיתיות שלכם לפני שסומכים עליו בתהליך ייצור.

איך מריצים

אתם טוענים אותו ישירות דרך ספריית transformers בפייתון באמצעות VisionEncoderDecoderModel. קבצי המשקל תופסים 774 מגה-בייט בדיוק float32, כך שכל מעבד גרפי פשוט עם 4 גיגה זיכרון יריץ אותו בקלות, ואפשר להריץ אותו אפילו על מעבד רגיל של שרת מקומי בלי להרגיש חנק.

אם אתם מעבדים עשרות אלפי קבלות בחודש ושומרים על פרטיות המידע, אין סיבה לשלם ל־API חיצוני. לעומת זאת, אם המסמכים שלכם מורכבים יותר מקבלות או דורשים שפות מגוונות, כדאי לשקול מודל מולטימודלי רחב יותר בענן.

from transformers import pipeline

pipe = pipeline("image-to-text", model="naver-clova-ix/donut-base-finetuned-cord-v2")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 774 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin806.2 MB
• tokenizer.json4.0 MB
• sentencepiece.bpe.model1.3 MB
• config.json4.7 KB
• README.md2.0 KB
• added_tokens.json1.5 KB
• .gitattributes1.2 KB
• tokenizer_config.json536 B
• preprocessor_config.json362 B
• special_tokens_map.json335 B
• .gitignore10 B

הרישיון

רישיון MIT חופשי לגמרי. מותר לקחת את המשקולות, להטמיע במוצר מסחרי, לערוך שינויים ולהפיץ מחדש בלי לשלם תמלוגים. התנאי היחיד הוא שמירת הודעת זכויות היוצרים של המפתחים המקוריים בתוך הקבצים שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗