pix2struct

מה זה

מעלים תמונה, כותבים שאלה בתיבת הטקסט ומקבלים תשובה קצרה או תיאור טקסטואלי. הממשק מחולק לארבע לשוניות לפי סוג המשימה: שאלות על מסמכים, אינפוגרפיקות, צילומי מסך של ממשקי משתמש ותרשימים.

מאחורי הקלעים רצות ארבע גרסאות בסיס של משפחת Pix2Struct מבית גוגל, שנטענות בעזרת ספריית transformers של Hugging Face. כל לשונית מפעילה מודל ייעודי שעבר התאמה למשימה שלו, כמו docvqa למסמכים או chartqa לגרפים. הממשק כולל דוגמאות מוכנות מראש לכל קטגוריה, כך שאפשר לבדוק את התוצאות גם בלי להעלות קובץ משלכם.

מתאים ל

• שאלות על מסמכים

  מעלים צילום של מסמך ושואלים שאלה ספציפית על פרט שמופיע בו כדי לחלץ תשובה טקסטואלית.

• ניתוח גרפים ותרשימים

  מזינים תמונה של תרשים ומקבלים תשובות על נתונים, מגמות או ערכים מספריים שמוצגים בו.

• תיאור ממשקי משתמש

  מעלים צילום מסך של אפליקציה כדי לקבל כיתוב או תיאור מילולי של הרכיבים במסך.

איפה זה נופל

הבעיה המרכזית כרגע היא שהאפליקציה במצב שגיאת הגדרה ולא זמינה להרצה תקינה. מעבר לכך, הקוד טוען רק את גרסאות הבסיס של המודלים, שהן פחות מדויקות מגרסאות ה־large, כפי שמצוין במפורש בטקסט של הממשק. מי שבונה על פענוח מסמכים מורכבים יקבל כאן הדגמה מוגבלת בלבד.

איך משתמשים

בוחרים את הלשונית שמתאימה לסוג התמונה, מעלים קובץ, מקלידים שאלה ולוחצים על Submit. התשתית מוגדרת על מעבד גרפי מסוג zero-a10g שמספק כוח עיבוד זמני. לא נדרשת הרשמה כדי להשתמש בממשק, אבל כרגע העמוד מדווח על תקלת הגדרה, כך שייתכן שהוא לא יעלה כלל בדפדפן עד שיתוקן.

הרישיון

הקוד מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי והפצה גם לצרכים מסחריים. אין פירוט לגבי שמירת התמונות שאתם מעלים לממשק.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗