donut-base

מה זה

במקום לחבר מנוע OCR שמוציא תיבות טקסט ואז מודל שפה שמנסה לחבר את השברים, המודל הזה לוקח תמונה ומייצר ישירות טקסט. הוא משלב בין Swin Transformer שמנתח את הפיקסלים לבין מפענח BART שמייצר את המחרוזת הרצויה מילה אחרי מילה. המבנה הזה פותר את הבלגן של צינורות עיבוד כפולים, שבהם טעות זיהוי ראשונית הורסת את כל הניתוח בהמשך.

המשקל שלו הוא 777 מגהבייט בלבד, כך שמדובר בכלי קומפקטי מאוד ביחס לעולם הראייה הממוחשבת של ימינו. הוא לא מגיע מוכן לעבודה מהקופסה עם מסמך ספציפי, אלא משמש נקודת מוצא גולמית שעברה אימון מקדים בלבד. כדי להפיק ממנו ערך אמיתי תצטרכו לאמן אותו על דאטה משלכם, או לחפש גרסה שכבר עברה התאמה למשימה מוגדרת כמו קריאת קבלות או מיון טפסים.

מתאים ל

• אימון לחילוץ חשבוניות

  בסיס מצוין לאימון ייעודי שממיר צילומי חשבוניות למבנה נתונים מסודר בלי צורך ב־OCR חיצוני.

• סיווג תמונות מסמכים

  התאמת המודל לזיהוי מהיר של סוג הטופס מתוך התמונה ישירות, בלי לפענח קודם את כל המלל.

• מענה לשאלות על מסמכים

  אימון לשליפת תשובות מתוך פריסות ויזואליות מורכבות כמו טבלאות ודוחות כספיים.

איפה זה נופל

הבעיה המרכזית היא שמדובר במודל שעבר אימון מקדים בלבד. אם תתנו לו מסמך מחר בבוקר, הוא לא יחלץ לכם שדות מסודרים בלי שתאמנו אותו קודם על המבנה המבוקש. בנוסף, מפענחי טקסט שמייצרים פלט מילה אחרי מילה עלולים לסבול מהזיות או מדילוג על שורות שלמות, בעיקר אם המסמך צפוף מדי או חורג מהסגנון שהוא ראה באימון.

איך מריצים

אתם טוענים אותו דרך ספריית transformers הרגילה בפייתון, תחת הארכיטקטורה של VisionEncoderDecoderModel. עם משקל של פחות מגיגהבייט ודיוק float32, הוא נכנס בקלות לכל כרטיס מסך ביתי בסיסי, ואפילו על מעבד רגיל אפשר להריץ איתו בדיקות בלי בעיה מיוחדת.

להריץ אותו לבד זה זול ומהיר, אבל זכרו שהמשקל הנוכחי הוא רק בסיס לאימון. אם אתם לא מתכננים תהליך fine-tuning עצמאי ואין לכם מאגר מתויג, עדיף להשתמש בגרסאות מאומנות מהמאגר הציבורי או בשירות ענן קיים למסמכים.

from transformers import pipeline

pipe = pipeline("image-to-text", model="naver-clova-ix/donut-base")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 777 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin809.2 MB
• tokenizer.json4.0 MB
• sentencepiece.bpe.model1.3 MB
• config.json4.7 KB
• README.md2.2 KB
• .gitattributes1.3 KB
• tokenizer_config.json518 B
• preprocessor_config.json362 B
• special_tokens_map.json355 B
• added_tokens.json71 B
• .gitignore10 B

הרישיון

הוא מופץ תחת רישיון MIT. מותר לכם להשתמש בו לצרכים מסחריים, לשנות אותו, לאמן אותו מחדש ולשלב אותו במוצר סגור. הדרישה היחידה היא לשמור על הצהרת זכויות היוצרים המקורית והטקסט של הרישיון בתוך הקוד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗