donut-docvqa
רץ בדפדפןnielsrרישיון לא דווח2022-08-12
מעלים תמונה של מסמך, שואלים שאלה עליו באנגלית, ומקבלים תשובה שחולצה ישירות מתוכו. זה מתאים למי שרוצה לבדוק יכולות חילוץ נתונים חזותי ממסמכים בלי מנוע OCR נפרד.
- —הורדות בחודש
- 82לייקים
מה זה
אתם מעלים קובץ תמונה של מסמך כמו לוח זמנים, מכתב או דוח, ומקלידים שאלה ממוקדת על מה שמופיע בו. בתגובה, מופיע טקסט קצר עם התשובה שנשלפה מתוך המסמך.
מאחורי הקלעים רץ המודל naver-clova-ix/donut-base-finetuned-docvqa, שמבוסס על ארכיטקטורת VisionEncoderDecoderModel. הרעיון כאן הוא עיבוד ישיר של התמונה לטקסט בלי להשתמש בתוכנת OCR מקדימה כדי לקרוא את האותיות, אלא הבנה של המבנה והתוכן יחד.
הממשק מציג שתי דוגמאות מוכנות: תמונה ראשונה שבה שואלים מתי הפסקת הקפה, ותמונה שנייה שבה מבררים מה גודל האוכלוסייה של סטודרד.
מתאים ל
- שליפת שעות מלוח זמנים
מעלים תמונה של תוכנייה ושואלים באנגלית מתי מתקיים אירוע מסוים כדי לקבל את השעה.
- איתור נתונים בדוחות
מזינים צילום של עמוד נתונים ושואלים לגבי ערך מספרי ספציפי, כמו אוכלוסייה של עיר.
- בדיקת יכולות ללא OCR
בוחנים איך ארכיטקטורת Donut מתמודדת עם הבנת מסמכים סרוקים באנגלית ישירות מתמונה.
איפה זה נופל
הבעיה המיידית היא שהאפליקציה פשוט לא עובדת כרגע בגלל שגיאת ריצה. מעבר לזה, המודל אומן על DocVQA באנגלית, כך שמסמכים בעברית או שאלות בעברית יכשלו לחלוטין. הוא גם מיועד לתשובות קצרות ועובדתיות מתוך עמוד בודד, ולא יודע לסכם פסקאות ארוכות או לנתח מסמכים מרובי עמודים.
שאלות
נפוצות
האם זה עולה כסף?
השימוש בדף הוא בחינם לחלוטין ואינו דורש תשלום. עם זאת, נכון לעכשיו הוא נמצא במצב תקלה ולא ניתן להריץ אותו בפועל.
מה קורה עם הקבצים שלי?
התמונות שאתם מעלים מגיעות לשרת שמריץ את הממשק לצורך העיבוד. מאחר שלא צוינה מדיניות פרטיות או רישיון, אל תעלו לשם מסמכים רגישים או מידע אישי.
כמה זמן לוקח לקבל תשובה?
האפליקציה מוגדרת על מעבד בסיסי, כך שגם כשהיא עובדת, התשובה תיקח כמה שניות ארוכות. היא לא מיועדת לעיבוד מהיר בזמן אמת.
אפשר להריץ את זה מקומית?
כן. הקוד טוען את המודל ישירות מספריית transformers של Hugging Face. אפשר למשוך את המשקלים של המודל ולהריץ אותם על המחשב שלכם, עדיף עם כרטיס מסך.
איך משתמשים
טוענים תמונה, כותבים שאלה באנגלית ולוחצים על submit, או פשוט בוחרים באחת משתי הדוגמאות המוכנות כדי לראות איך זה עובד. האפליקציה רצה על מעבד בסיסי, ללא כרטיס מסך ייעודי, כך שזמן העיבוד איטי משמעותית בהשוואה להרצה על GPU.
כרגע המצב שלה מוגדר כשגיאת זמן ריצה (RUNTIME_ERROR), מה שאומר שהיא מושבתת בדפדפן ולא תגיב בלחיצה עד שיתקנו את הקוד או את התלויות.
הרישיון
לא דווח רישיון עבור המרחב הזה. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד ההדגמה, ומומלץ לבדוק בנפרד את הרישיון המקורי של המודל naver-clova-ix/donut-base-finetuned-docvqa לפני שמשלבים אותו בעבודה עסקית.