dit-document-layout-analysis

מה זה

אתם מעלים תמונה של עמוד מתוך מסמך ומקבלים בחזרה את אותה התמונה עם סימונים צבעוניים על גבי הפסקאות, הכותרות והטבלאות. הממשק כולל דוגמה מובנית בשם publaynet_example.jpeg שמאפשרת לראות את התוצאה הצפויה ישירות על דף טיפוסי מתוך מאמר מדעי.

מאחורי הקלעים רץ מודל DiT בגרסת בסיס עם ארכיטקטורת Cascade, המבוסס על משקלים שנלקחו מהמאגר Sebas6k/DiT_weights בקובץ publaynet_dit-b_cascade.pth. הקוד משתמש בספריית Detectron2 כדי לטעון את המשקלים, לעבד את התמונה באמצעות OpenCV ולהפעיל שכבת ויזואליזציה שמציירת את גבולות האובייקטים שהמודל זיהה.

מתאים ל

• בדיקת זיהוי מבנה במסמך

  העלאת צילום עמוד לבחינת היכולת להפריד בין בלוקים של טקסט לתמונות.

• הערכת משקלי PubLayNet

  בדיקה מהירה של ביצועי המשקלים הספציפיים מתוך המאגר לפני הטמעה בפרויקט.

• המחשה ויזואלית לעיבוד דף

  הצגת אופן הפעולה של מודל זיהוי אובייקטים על גבי דפי מאמרים מדעיים.

איפה זה נופל

הממשק נמצא כעת במצב של תקלת ריצה ולא מגיב לפעולות, כך שאי אפשר להריץ עליו קבצים חדשים ישירות בעמוד. בנוסף, הוא פולט רק תמונה עם סימונים גרפיים ולא מחזיר טקסט מפוענח, קואורדינטות מדויקות או קובץ נתונים כמו JSON לשימוש באפליקציות אחרות. המודל אומן על מאגר PubLayNet שמתמקד במאמרים מדעיים באנגלית, לכן לא כדאי להסתמך עליו בעיבוד מסמכים משרדיים מורכבים או טפסים בעברית.

איך משתמשים

גוררים תמונה לחלון הקלט ולוחצים על כפתור ההפעלה, או בוחרים ישירות בדוגמה הקיימת בתחתית המסך כדי לטעון אותה מיד. אין צורך בהרשמה או בחשבון כדי להשתמש בממשק.

הקוד מוגדר לרוץ על מעבד בסיסי בלבד וללא מאיץ גרפי. עיבוד כזה של מודל ראייה ממוחשבת על מעבד רגיל גוזל זמן מורגש בכל בדיקה, מעבר לעובדה שהמערכת מדווחת כרגע על שגיאת ריצה שמונעת ממנה לפעול בדפדפן.

הרישיון

הרישיון של המרחב לא דווח כלל במאגר. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד או בתוצרים, והעלאת מסמכים רגישים או פרטיים לשם אינה מומלצת בהיעדר תנאי שימוש מוגדרים.

הרישיון המלא ב־Hugging Face ↗