חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
C

caracal

רץ בדפדפן

wjbmattinglymit2025-01-02

  • gradio

הכלי מפענח טקסט בכתב יד מתוך תמונות ומחלץ ממנו ישויות לפי בחירה. הוא מתאים למי שרוצה לבדוק זיהוי כתב יד ויזואלי בלי להקים סביבת פיתוח.

  • —הורדות בחודש
  • 55לייקים

מה זה

אתם מעלים תמונה של מסמך או כתב יד ללשונית הראשית, בוחרים מודל מתוך הרשימה, ומקבלים טקסט מפוענח. אם תרצו, אפשר לסמן תיבה להפעלת זיהוי ישויות ולהגדיר תוויות מותאמות אישית, ואז הפלט מציג את הטקסט עם הישויות המודגשות בתוכו.

מאחורי הקלעים רצים מודלי ראייה ושפה ממשפחת Qwen, כמו Qwen2-VL-7B-Instruct ו־Qwen3-VL-8B-Instruct, שמבצעים את פענוח התמונה. עבור שלב חילוץ הישויות, הקוד כולל תמיכה במודל modern-gliner-bi-base-v1.0 של knowledgator שרץ ישירות על הטקסט שחולץ.

בסיום אפשר לתת שם לקובץ ולהוריד את התמונה יחד עם הטקסט שהופק בקובץ דחוס.

מתאים ל

  • פענוח פתקים ומסמכים סרוקים

    מעלים תמונה של כתב יד ומקבלים גרסה דיגיטלית להעתקה דרך מודלי ראייה מתקדמים.

  • חילוץ ישויות מטקסט סרוק

    מפעילים את מודל GLiNER על גבי הטקסט שפוענח כדי לסמן שמות, תאריכים או תוויות מותאמות.

  • השוואת מודלי ראייה

    בודקים את אותה תמונה מול גרסאות שונות של מודלי Qwen כדי לראות מי מחזיר פענוח מדויק יותר.

איפה זה נופל

הקוד נשען על מודלי שפה וראייה גדולים, שלא תמיד מדויקים בכל שפה או בכל סגנון כתיבה מרושל. אם כתב היד בעברית, המודלים האלה עלולים לפספס אותיות או להמציא מילים שלמות, במיוחד כשהרזולוציה נמוכה. בנוסף, חילוץ הישויות תלוי לחלוטין באיכות התמלול הראשוני.

שאלות
נפוצות

האם השימוש בחינם?

כן, הכלי זמין להרצה ישירות בדפדפן ללא עלות. הוא משתמש בחומרה שיתופית ולכן אין צורך במנוי או בתשלום.

כמה זמן לוקח לפענח תמונה?

ברוב המקרים זה לוקח שניות בודדות, בהתאם לאורך הטקסט בתמונה. אם המעבד הגרפי נמצא במצב המתנה, תהיה השהיה קצרה של שניות ספורות עד שהוא יתחיל לרוץ.

האם אפשר להריץ את זה מקומית?

כן, הקוד כתוב ב־Python עם ספריית Gradio ומשתמש במודלים סטנדרטיים מ־Transformers. תצטרכו מחשב עם מעבד גרפי מתאים כדי להחזיק מודלים בגודל שבעה ושמונה מיליארד פרמטרים.

במה זה שונה משימוש ישיר במודל?

הממשק מחבר בין פענוח הראייה לבין מודל נפרד לזיהוי ישויות, ומציג את התוצאות מודגשות בעמוד. הוא חוסך את הצורך לכתוב קוד לעיבוד התמונה, להגדרת הפרומפט ולחיבור המודלים.

איך משתמשים

גוררים תמונה למשבצת הקלט, בוחרים את המודל הרצוי מהתפריט ולוחצים על Submit. אין צורך לפתוח חשבון או להתחבר כדי להשתמש. המערכת רצה על חומרת A10G שמוקצית לפי דרישה דרך ZeroGPU, כך שאם המעבד הגרפי פנוי העיבוד מתחיל מיד, אך ייתכן שתמתינו כמה שניות אם המשאב בדיוק מופשר.

הרישיון

הפרויקט מפורסם ברישיון MIT, שמאפשר שימוש חופשי בקוד, שינוי והפצה כולל שימוש מסחרי. המידע והתמונות שאתם מעלים מעובדים ישירות על השרת המארח של המרחב.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא ב־Hugging Face ↗