DocOwl

מה זה

מעלים תמונה של מסמך, פוסטר או טבלה, ומקלידים שאלה בשדה הטקסט. בתגובה, הממשק מחזיר ניתוח מילולי, חילוץ נתונים או המרה לפורמט מרקדאון, בהתאם לבקשה שהגדרתם.

מאחורי הקלעים רץ המודל mPLUG/DocOwl1.5-Omni, שמשלב הבנת תמונה עם יכולות פענוח טקסט מתקדמות של מודל שפה. הדוגמאות המובנות כוללות פיענוח של לוח זמנים מתוך כנס מקצועי, חילוץ טבלאות ותרשימים למבנה מרקדאון, קריאת טקסט חופשי מתמונות, וזיהוי פרטים ספציפיים או אלמנטים חריגים מתוך כרזות של סרטים ותמונות שונות.

הממשק נותן שליטה ידנית בפרמטרים של הריצה, כמו טמפרטורה, Top P וכמות הטוקנים המקסימלית לפלט, כך שאפשר לכוונן את מידת היצירתיות או הדיוק בתשובה.

מתאים ל

• המרת טבלאות למרקדאון

  מעלים צילום של טבלה ומקבלים ייצוג טקסטואלי מובנה להעתקה מהירה.

• ניתוח לוחות זמנים

  שואלים שאלות על זמנים ומיקומים מתוך תוכניות כנסים או לוזים מצולמים.

• פיענוח כרזות ופוסטרים

  מחלצים שמות, כותרות ופרטים ספציפיים מתוך מודעות ותמונות גרפיות.

איפה זה נופל

האפליקציה כרגע במצב שינה, מה שאומר שהיא לא זמינה לפעולה מיידית בכל רגע נתון. הדוגמאות מתמקדות באנגלית, ואין מידע או התחייבות לגבי ביצועים על מסמכים בעברית או שפות שנכתבות מימין לשמאל. בנוסף, חילוץ טבלאות מורכבות עלול לפספס עמודות אם התמונה לא חדה ומיושרת, ומגבלת הפלט של 1024 טוקנים עוצרת תשובות של מסמכים ארוכים באמצע.

איך משתמשים

טוענים תמונה, כותבים שאלה ולוחצים על Send. בגלל שהמערכת מוגדרת במצב שינה על גבי חומרת zero-a10g, הכניסה הראשונה דורשת המתנה של דקה או שתיים עד שהשרת מתעורר וטוען את המודל לזיכרון. אין צורך בהרשמה או התחברות, אך אחרי ההתעוררות המעבד הגרפי מפיק תשובות בתוך שניות בודדות. כפתור עצירת היצירה מנוטרל בקוד, כך שצריך לחכות לסיום הפלט.

הרישיון

הקוד פתוח תחת רישיון apache-2.0, אך הממשק מציין במפורש שמדובר בתצוגת מחקר לשימוש לא מסחרי בלבד. השימוש כפוף למגבלות הרישיון של LLaMA, תנאי השימוש של דאטה שנוצר על ידי OpenAI ומדיניות ShareGPT.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗