GPT
U

UDOP

רץ בדפדפן

mervemit2024-03-09

  • gradio

הדגמה בדפדפן להבנת מסמכים סרוקים ותמונות טקסט. מעלים קובץ, שואלים עליו שאלה או מסמנים אזור מסוים, ומקבלים תשובת טקסט מחולצת.

  • הורדות בחודש
  • 83לייקים

מה זה

אתם מעלים תמונה של מסמך, מקלידים הוראה בתיבת הטקסט עם קידומת המשימה הרצויה, ומקבלים פלט טקסטואלי. הממשק כולל רכיב מיוחד לסימון תיבה על גבי התמונה, מה שעוזר למקד את הניתוח באזור ספציפי בעמוד, אבל אפשר גם להשאיר אותו ריק כדי לבדוק את כל המסמך.

מאחורי הקלעים רץ המודל microsoft/udop-large בשילוב עם EasyOCR לחילוץ ראשוני של הטקסט, לצד המעבד של המודל שמחבר בין המילים למיקום הפיזי שלהן בדף. יש בממשק גם דוגמה מוכנה מראש עם קובץ בשם dummy_pdf.png כדי לראות איך הפורמט עובד לפני שמעלים קבצים משלכם.

מתאים ל

  • שאלות ותשובות על טפסים

    מעלים תמונת טופס באנגלית ומבקשים מהמודל לאתר שדה ספציפי כמו תאריך או סכום.

  • חילוץ מתוך אזור ממוקד

    מסמנים ריבוע על פסקה או טבלה בודדת במסמך ומבקשים ממנו לחלץ רק את המידע שסומן.

  • בדיקת יכולות המודל

    מריצים בדיקות זריזות על דוגמאות מוכנות מראש לפני שמשלבים את המודל בקוד עצמאי.

איפה זה נופל

הקוד דורש במפורש העלאת תמונה, ואם תנסו לשלוח בלי קובץ תקבלו שגיאה. EasyOCR והמודל שמאחוריו לא תמיד מתמודדים טוב עם עברית או כתבי יד עקומים, כך שאם המסמך שלכם אינו באנגלית ברורה, התוצאה עלולה לצאת שגויה או מקוטעת.

שאלות
נפוצות

האם השימוש בהדגמה כרוך בתשלום?

לא, הגישה דרך הדפדפן פתוחה ואינה דורשת כרטיס אשראי או תשלום. המשאבים מוקצים במסגרת תשתית הרשת.

האם אפשר להריץ את זה מקומית?

כן, הקוד מבוסס על ספריות פתוחות כמו transformers ו־gradio, והמשקולות של microsoft/udop-large זמינות להורדה חופשית. תצטרכו מחשב עם מעבד גרפי מתאים כדי להריץ את הגרסה הזאת ביצועים סבירים.

מה קורה עם המסמכים שאני מעלה?

התמונות נשלחות לשרת שמריץ את מופע ה־Gradio לצורך העיבוד הרגעי. לא מדובר בסביבה מאובטחת או מקומית, אז אל תעלו לשם תעודות מזהות או מסמכים פיננסיים סודיים.

במה הדמו שונה משימוש ישיר במודל?

ההדגמה עוטפת את המודל בממשק גרפי ומשלבת כלי OCR שמכין את הנתונים באופן אוטומטי. בקוד ישיר תצטרכו לנהל את חילוץ הטקסט, התיבות התוחמות והטוקניזציה בעצמכם.

איך משתמשים

טוענים תמונה, כותבים את ההוראה, ואם רוצים מסמנים אזור ישירות על המסמך לפני שלוחצים על כפתור השליחה. ההרצה מתבצעת על חומרת zero-a10g שמקצה מאיץ גרפי לפי דרישה, כך שאין צורך בהתקנה או בהרשמה מיוחדת, אבל אם יש עומס ייתכן שתמתינו כמה שניות עד שהמשאב יתפנה ויחזיר את הפלט בתיבת הטקסט.

הרישיון

האפליקציה עצמה מפורסמת תחת רישיון MIT שמאפשר שימוש חופשי בקוד. לגבי המידע שאתם מעלים, הוא מועבר לשרתי Hugging Face שבהם הדמו מתארח לצורך העיבוד, ולכן לא מומלץ להעלות מסמכים רגישים או אישיים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא ב־Hugging Face ↗