andito/Florence-2-DocVQA

מה זה

מעלים תמונה של מסמך, מוסיפים שורת טקסט אופציונלית עם שאלה או הנחיה, ולוחצים על שליחה כדי לקבל תשובה טקסטואלית בחלון הפלט.

מאחורי הקלעים רץ המודל HuggingFaceM4/Florence-2-DocVQA בעזרת ספריית transformers של פייתון. המודל הזה מתמחה בניתוח מסמכים ויזואליים ומשלב ראייה ממוחשבת עם הבנת שפה, כשהוא מעבד את הפיקסלים של התמונה יחד עם הטקסט שהזנתם ומפיק פלט ישיר. בקוד הוגדרו דוגמאות מובנות שנשמרות מראש כדי שאפשר יהיה לבדוק איך הוא מגיב בלי להעלות קובץ משלכם.

מתאים ל

• חילוץ שדות מטופס

  מעלים צילום של טופס מודפס ושואלים על ערך של שדה ספציפי כדי לשלוף אותו ישירות.

• מענה על שאלות מקבלה

  מעלים חשבונית או קבלה ומבקשים את הסכום הסופי או את התאריך הרשום בה.

• בדיקת יכולות המודל

  מריצים תמונות מבחן כדי להעריך את דיוק פענוח הטקסט הוויזואלי לפני הטמעה במערכת עצמאית.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה נמצאת בסטטוס שגיאת ריצה, ולכן כרגע אי אפשר להריץ אותה כלל בדפדפן. בנוסף, לא מצוין תמיכה בעברית במסמכים או בשאלות, ומודלים מהסוג הזה לרוב נכשלים בפענוח גופנים מורכבים מימין לשמאל ללא אימון ייעודי לכך.

איך משתמשים

גוררים תמונה למשבצת הקלט, כותבים שאלה קצרה בתיבת הטקסט אם צריך, ולוחצים על כפתור Submit כדי להתחיל את העיבוד. האפליקציה יושבת על חומרת zero-a10g שמקצה כרטיס גרפי לפי דרישה, כך שפעולת החישוב עצמה אמורה לקחת שניות בודדות ברגע שהקוד עובד. אין צורך בהתחברות או בהרשמה מראש כדי להשתמש בממשק, אבל במצבה הנוכחי היא מדווחת על שגיאת ריצה ולכן אי אפשר לקבל פלט עד שהמפתח יתקן אותה.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי והתאמה של הקוד. לגבי התמונות שאתם מעלים, הן נשלחות לעיבוד בשרת ואינן מוגנות מעבר למדיניות האתר.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗