GPT
הוספת כלי
U

udop-large

קוד פתוח

microsoftmit2024-02-26

  • transformers
  • safetensors
  • udop
  • image-text-to-text
  • vision

microsoft עומדים גם מאחורי Sho, ויש עליו סקירה כאן.

מעבד תמונות של מסמכים ומשלב טקסט, תמונה ומבנה כדי לחלץ מידע מדויק. מתאים למי שרוצה מענה לשאלות וסיווג מסמכים בלי תלות במודלי ענק יקרים.

  • 742Mפרמטרים
  • 2.8 GBמשקל הקבצים
  • 89,566הורדות בחודש
  • 126לייקים

מה זה

מדובר במודל שמבוסס על ארכיטקטורת קידוד ופענוח מסוג T5, ומיועד לעיבוד מסמכים כולל. הוא לא מסתכל רק על מילים כתובות אלא מנתח במקביל את הוויזואליה של הדף, את התוכן הטקסטואלי ואת הסידור המרחבי ביניהם, מה שמאפשר לו להבין מבנה מורכב של טפסים ודוחות.

הוא מיועד לשלוש משימות עיקריות: סיווג תמונות של מסמכים, פירוק מבני של טקסט מתוך דפים, ומענה חזותי על שאלות מתוך מסמך. הגודל שלו, כ־742 מיליון פרמטרים, ממקם אותו כפתרון קומפקטי שמיועד למשימות מסמכים מוגדרות ולא לצ'אט כללי.

מתאים ל

  • מענה על שאלות ממסמכים

    מחלץ תשובות קונקרטיות מתוך חשבוניות וטפסים מורכבים לפי מיקום וטקסט.

  • מיון וסיווג דפים

    מזהה סוגי מסמכים נכנסים בארגון לפי המראה הוויזואלי והתוכן שלהם יחד.

  • חילוץ מבני מטפסים

    מפרק שדות וערכים בדוחות עסקיים שבהם המיקום הפיזי בדף קובע את המשמעות.

איפה זה נופל

הכרטיס לא מפרט ביצועים על שפות שאינן אנגלית, ובמיוחד חסר מידע על תמיכה בעברית או בטקסט מימין לשמאל. אם המסמכים שלכם כוללים כיווניות מעורבת, תצטרכו לבדוק את זה לבד מאפס לפני שאתם בונים עליו בפרודקשן. בנוסף, לא פורסמו בכרטיס ציוני דיוק או נתונים על התמודדות עם סריקות עקומות ומסמכים מטושטשים.

שאלות
נפוצות

האם המודל תומך במסמכים בעברית?

התיעוד שפורסם לא מציין תמיכה רשמית בעברית או בשפות שנכתבות מימין לשמאל. כדאי להריץ בדיקה על מדגם קטן של מסמכים מקומיים כדי לראות אם פענוח הטקסט והמבנה עובדים כמצופה לפני שמתקדמים.

איזה מעבד גרפי צריך בשביל להריץ אותו?

המודל שוקל 2.8 גיגה בייט בפורמט float32 ומכיל כ־742 מיליון פרמטרים. כרטיס מסך בסיסי עם 8 עד 12 גיגה זיכרון וידאו יספיק להסקה מהירה, ואין צורך במערכי חומרה כבדים.

איך מריצים

אתם טוענים אותו ישירות דרך ספריית transformers עם ארכיטקטורת UdopForConditionalGeneration. הקבצים שוקלים 2.8 גיגה בייט בדיוק float32, כך שכרטיס מסך ביתי או שרת ענן פשוט עם 8 עד 16 גיגה זיכרון יריצו אותו בלי מאמץ.

אם יש לכם תעבורה נמוכה של כמה עשרות דפים ביום ואין לכם שרת זמין, החזקת מכונה עם כרטיס מסך רק בשבילו תהיה יקרה. במקרה כזה עדיף לשקול ממשק חיצוני, אבל אם הפרטיות דורשת שהמסמכים לא ייצאו מהרשת הפנימית, ההרצה העצמית פשוטה וזולה.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="microsoft/udop-large")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 2.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

רישיון MIT פתוח ומתירני. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו בתוך מוצר סגור, בלי דרישה לפתוח את הקוד שלכם. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקוריים בקבצים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗