paligemma-doc

מה זה

הממשק מחולק לארבע לשוניות נפרדות, כשבכל אחת מהן אתם מעלים קובץ תמונה, מקלידים שאלה בתיבת טקסט ולוחצים על שליחה. בתגובה, המערכת מחזירה טקסט קצר שמחלץ את המידע הדרוש מתוך התמונה.

מאחורי הקלעים רצות ארבע גרסאות שונות של המודל PaliGemma 3B מבית גוגל, שכל אחת מהן אומנה על משימה אחרת. יש כאן מודלים ספציפיים לתשובות מתוך מסמכים סרוקים, אינפוגרפיקות, דיאגרמות מדעיות וקריאת טקסט ישיר מתמונות, ברזולוציות קלט של 448 או 896 פיקסלים. בכל לשונית מובנות דוגמאות מוכנות מראש שמאפשרות לבדוק את התנהגות המודל בלחיצה אחת בלי להעלות קובץ משלכם.

מתאים ל

• חילוץ נתון מתוך טופס

  מעלים תצלום של מסמך ושואלים שאלה ממוקדת על שדה מסוים כדי לקבל את הערך הכתוב בו.

• הבנת תרשימים ודיאגרמות

  טוענים תרשים מדעי או גרף ומבקשים תשובה ישירה לגבי המבנה או היחס בין הרכיבים.

• קריאת נתונים מאינפוגרפיקה

  שואלים שאלה לגבי מידע שמוצג באופן גרפי, והמודל מחלץ את הטקסט או הנתון הרלוונטי.

איפה זה נופל

הכלי מוגבל לתשובות קצרות על גבי תמונה בודדת ואינו מיועד לעיבוד קובצי PDF מרובי עמודים. המודלים אומנו על מאגרי מידע באנגלית בלבד, כך שלא הייתי בונה עליו לקריאת מסמכים או שאלות בעברית. בנוסף, חלוקת המודלים ללשוניות נפרדות מחייבת אתכם לדעת מראש מה סוג התמונה, אחרת הדיוק נפגע.

איך משתמשים

בוחרים לשונית לפי סוג המסמך, טוענים תמונה, כותבים שאלה ולוחצים על Submit. הריצה מתבצעת על חומרת zero-a10g שמקצה מעבד גרפי לפי דרישה. שימו לב שהמודלים נטענים לזיכרון תוך כדי תנועה, כך שהשאילתה הראשונה בכל לשונית עלולה לקחת זמן משמעותי בזמן ההורדה והטעינה.

הרישיון

הפרויקט והמודלים מפורסמים תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי והתאמה אישית. הממשק רץ בשרת ציבורי, ולכן אין להעלות אליו מסמכים פרטיים, חוזים רגישים או נתונים מזהים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗