deformable-detr-DocLayNet
קוד פתוחArynapache-2.02024-03-19
מודל זיהוי אלמנטים במסמכים שמאתר כותרות, טבלאות וטקסט בתוך דפים סרוקים. הוא קל משקל, מתאים ישירות לפייפליין של עיבוד מסמכים וחוסך שימוש במודלי ענק יקרים.
- 41Mפרמטרים
- 1,024טוקנים בהקשר
- 158 MBמשקל הקבצים
- 57,580הורדות בחודש
מה זה
מדובר במודל ראייה ממוחשבת שמבוסס על ארכיטקטורת Deformable DETR ואומן ספציפית על מאגר DocLayNet. המאגר הזה כולל שמונים אלף עמודים מתויגים ומחלק את התוכן בארבע עשרה קטגוריות שונות, כך שהמטרה שלו היא לא לקרוא את הטקסט עצמו, אלא לזהות איפה כל בלוק יושב על הדף.
בבדיקות המודל מציג תוצאה של 57.1 בציון box mAP על סט הנתונים הזה. בפועל, זה אומר שהוא מזהה נכון וממסגר במדויק קצת יותר ממחצית מהמקרים המורכבים, כך שתקבלו מיקום סביר של אלמנטים ברורים, אבל יהיו פספוסים בעמודים צפופים עם פריסות לא שגרתיות.
מתאים ל
- פירוק מסמכים ל־RAG
חיתוך מדויק של עמודי PDF לפסקאות וטבלאות לפני יצירת וקטורים והזנה למודלי שפה.
- חילוץ טבלאות מדוחות
איתור התיחום של טבלאות מורכבות בדוחות כספיים כדי להעביר רק אותן לחילוץ נתונים ממוקד.
- מיון מבנה של סריקות
זיהוי אוטומטי של כותרות ורשימות בספרים או טפסים ישנים כדי להמיר אותם לטקסט מובנה.
איפה זה נופל
הציון של 57.1 mAP מבהיר מיד שלא מדובר בכלי מושלם, ויהיו טעויות בזיהוי גבולות של פסקאות או הבחנה בין סוגי מקטעים. ארכיטקטורת DETR עובדת עם מספר שאילתות מוגדר מראש, במקור מאה, כך שמסמכים עמוסים במיוחד עם מאות רכיבים קטנים בעמוד אחד פשוט יאבדו מידע. בנוסף, המודל אומן על נתונים ממאגר DocLayNet, ואם המסמכים שלכם שונים משמעותית מהמבנה הרגיל שקיים שם, רמת הדיוק תרד מיד ותדרוש אימון נוסף.
שאלות
נפוצות
האם המודל מחזיר את הטקסט עצמו מהמסמך?
לא, הוא מודל זיהוי אובייקטים בלבד. הוא מחזיר קואורדינטות של תיבות תוחמות והסוג שלהן, כמו טקסט, כותרת או טבלה. כדי לקרוא את המילים שבתוך התיבה צריך להפעיל כלי OCR נפרד על האזור שזוהה.
האם אפשר להריץ אותו על מעבד בלי כרטיס מסך?
כן, המשקל שלו נמוך מאוד, 41 מיליון פרמטרים בלבד. הוא יעבוד על מעבד סטנדרטי בלי בעיה, אם כי לעיבוד של אלפי עמודים בדקה כדאי להשתמש בכרטיס מסך כדי למנוע צוואר בקבוק.
איך מריצים
עם גודל של כ־158 מגה בייט ו־41 מיליון פרמטרים, אפשר להריץ אותו כמעט על כל מכונה. הוא נטען ישירות דרך ספריית transformers בפייתון ולא דורש שרת מפלצתי עם מאיצים יקרים. אפילו כרטיס מסך בסיסי או מעבד מודרני יספיקו כדי לעבד דפים בקצב סביר.
Aryn מציעים גם שירות ענן משלהם בשם Aryn Partitioning Service למי שלא רוצה לתחזק שרתים בכלל. אם יש לכם נפח קטן או שאתם מריצים אצווה של קבצים פעם ביום, שירות מנוהל יחסוך את כאב הראש, אבל במערכות שרצות באופן רציף עדיף להחזיק אותו מקומית.
from transformers import pipeline
pipe = pipeline("object-detection", model="Aryn/deformable-detr-DocLayNet")
print(pipe("שלום"))הקבצים
8 קבצים במאגר, 158 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
רישיון apache-2.0 מאפשר שימוש מסחרי מלא בלי לשלם תמלוגים. אפשר לקחת את המשקלים, לשלב אותם במוצר מסחרי סגור, לשנות את הקוד ולהפיץ אותו. התנאי היחיד הוא שמירת הודעת זכויות היוצרים המקורית והצהרה על שינויים שנעשו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים