donut-base-finetuned-cord-v2 — הדגמה
קוד פתוחnaver-clova-ixmit2022-07-19
מעלים תמונה של קבלה ומקבלים את המידע ממנה מחולץ ישירות למבנה טקסטואלי. ההדגמה מיועדת בעיקר למי שרוצה לבדוק איך מודל ויז'ואלי קורא מסמכים בלי מנוע זיהוי תווים נפרד.
- 774 MBמשקל הקבצים
- —הורדות בחודש
- 106לייקים
מה זה
אתם זורקים פנימה תמונה של קבלה דרך הדפדפן, והמערכת מחזירה את הפרטים שחולצו ממנה. המודל שרץ מאחורי הקלעים הוא donut-base-finetuned-cord-v2 של חברת naver-clova-ix, ארכיטקטורה שמנתחת את התמונה כולה כיחידה אחת וחוסכת את השלב של OCR מסורתי.
בקוד של ההדגמה מצוין שהמודל עבר אימון על 800 תמונות של קבלות אינדונזיות מתוך מאגר cord-v2. בממשק יש שתי תמונות לדוגמה שמגיעות ישירות מהמאגר הזה, כך שאפשר לראות איך הוא מתמודד עם הפורמטים שעליהם הוא אומן.
מתאים ל
- בדיקת חילוץ ללא OCR
ניסיון מעשי עם ארכיטקטורת Donut שממירה תמונת מסמך למבנה נתונים בלי מנוע OCR נפרד.
- הערכת ביצועים על CORD
בחינת איכות הדיוק על קבלות מתוך המאגר האינדונזי שעליו המודל אומן.
- בחינת קבלות לועזיות
בדיקה אם המודל מסוגל להתמודד עם פריסות של קבלות פשוטות באנגלית.
איפה זה נופל
הבעיה המיידית היא שההדגמה שבורה ולא נטענת כרגע בגלל שגיאת בנייה. מעבר לזה, המודל אומן ספציפית על קבלות מאינדונזיה, כך שמסמכים בעברית או בפורמטים של חשבוניות ישראליות כנראה ייכשלו לחלוטין. אל תבנו על זה לפענוח קבלות מקומיות בלי לאמן אותו מחדש על נתונים מתאימים.
שאלות
נפוצות
האם השימוש בהדגמה עולה כסף?
לא, הגישה בדפדפן חופשית לחלוטין. עם זאת, כרגע יש שגיאת בנייה בעמוד ולכן אי אפשר להריץ אותו.
האם אפשר להריץ את זה מקומית?
כן, המודל עצמו זמין להורדה מ־Hugging Face. הקוד פשוט מאוד ומשתמש בספריית donut הרשמית וב־PyTorch, כך שקל להריץ אותו על מחשב שלכם.
האם המודל הזה מתאים לקבלות בישראל?
לא. המודל אומן על 800 קבלות מאינדונזיה בלבד ואינו מיועד לפענוח עברית או מבנה חשבוניות מקומי.
במה הממשק הזה שונה משימוש ישיר במודל?
הממשק נותן רק מעטפת Gradio בסיסית לקלט תמונה והצגת התוצאה. המודל עצמו זהה לחלוטין למה שרץ מאחורי הקלעים בקוד.
איך מריצים
נכנסים לעמוד, גוררים תמונה לתיבת הקלט או בוחרים באחת משתי הדוגמאות המוכנות, ולוחצים על כפתור ההפעלה. אין צורך בהרשמה או התחברות לחשבון.
ההדגמה מוגדרת לרוץ על מעבד בסיסי בלי מאיץ גרפי, ובנוסף שמירת הדוגמאות בזיכרון המטמון כבויה בקוד, כך שזמן העיבוד לכל קבלה צפוי להיות איטי יחסית. עם זאת, נכון לעכשיו העמוד נמצא במצב של שגיאת בנייה ולכן אי אפשר להריץ אותו בפועל בדפדפן עד שהיוצרים יתקנו את הקוד.
pip install -U huggingface_hub hf download naver-clova-ix/donut-base-finetuned-cord-v2
הקבצים
11 קבצים במאגר, 774 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון של המרחב לא דווח כלל. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד של ההדגמה, וכדאי לבדוק בנפרד את הרישיון המקורי של המודל והנתונים במאגרים שלהם לפני שמשלבים אותם בעבודה.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש