Pix2Text-Demo

מה זה

מעלים תמונה של דף, צילום מסך או נוסחה בודדת, והמערכת מחזירה את הטקסט המפוענח כנוסחאות LaTeX לצד תמונה שמציגה את האזורים שזוהו. התהליך מבוסס על שילוב של מספר מודלים בקוד פתוח. בשלב הראשון הכלי משתמש ב־CnSTD כדי לאתר היכן ממוקמות הנוסחאות בתוך הדף. את חלקי הנוסחה הוא מעביר למנוע LatexOCR שממיר אותם למתמטיקה כתובה, ואת שאר התוכן הוא שולח לפענוח טקסט רגיל באמצעות CnOCR או EasyOCR. בסוף שני החלקים מורכבים יחד לקובץ טקסט אחיד.

הממשק כולל דוגמאות מובנות שממחישות את היכולות. יש שם דפי מאמרים שלמים, תמונות שמערבבות מלל ומשוואות, נוסחאות מודפסות, נוסחאות בכתב יד, ודוגמאות טקסט באנגלית, סינית פשוטה, סינית מסורתית ווייטנאמית.

מתאים ל

• המרת משוואות ממאמרים

  חילוץ נוסחאות מורכבות מקובצי תמונה והפיכתן הישירה לקוד LaTeX עבור מסמכים אקדמיים.

• זיהוי דפים משולבים

  הפרדה אוטומטית בין פסקאות טקסט רגיל לבין ביטויים מתמטיים מתוך צילומי מסך.

• פענוח כתב יד מתמטי

  סריקת פתרונות וחישובים שנכתבו ביד ותרגומם לתחביר נוסחאות דיגיטלי נקי.

איפה זה נופל

הכלי תומך באופן מובנה רק באנגלית, סינית ווייטנאמית, כך שאין כאן תמיכה בטקסט בעברית. בנוסף, המפתח מציין בפירוש שהשירות המקוון החיצוני שלו מחזיק מודלים מתקדמים יותר מאשר מודלי הקוד הפתוח שרצים כאן. ההדגמה מיועדת להראות את הפעולה הבסיסית של הספריה, ולא תקבלו בה את הביצועים המלאים של גרסאות המודל המסחריות או הפרטיות.

איך משתמשים

גוררים תמונה לאזור ההעלאה, בוחרים שפה וסוג זיהוי, ולוחצים על Submit. אין צורך בהרשמה או ביצירת חשבון כדי לבדוק את העמוד. מאחר שההדגמה רצה על גבי חומרת cpu-basic בסיסית, עיבוד תמונה מורכבת שכוללת דף מלא עשוי לקחת זמן מה. יש להמתין בסבלנות בזמן שהמעבד מריץ את שלבי הזיהוי והפירוק של התוכן בזה אחר זה.

הרישיון

הפרויקט מופץ תחת רישיון MIT שמאפשר שימוש חופשי, העתקה ושינוי קוד. התמונות שמועלות לממשק מעובדות בשרת של Hugging Face בזמן הריצה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗