PaddleOCR-VL-For-Manga

מה זה

מדובר בהתאמה ייעודית של PaddleOCR-VL למשימה ספציפית: זיהוי טקסט בקומיקס יפני. המפתח אימן אותו על בסיס נתונים של מאה אלף חיתוכי טקסט מתוך Manga109-s ועוד מיליון וחצי דוגמאות סינתטיות. המטרה כאן היא להתמודד עם טיפוגרפיה ידנית, פונטים מוגזמים, וטקסט שיושב ישירות על ציורים ולא על רקע נקי של מסמך משרדי.

במבחן התוצאה על חיתוכי מנגה, המודל מגיע לשבעים אחוזי דיוק ברמת המשפט המלא, לעומת עשרים ושבעה אחוזים בלבד של מודל הבסיס. הפער הזה ממחיש כמה מודלים כלליים מתקשים עם סגנון חופשי ביפנית. הפלט מיועד לחיתוכים בודדים ולא לעמודים שלמים, כך שנדרש שלב מקדים שיחתוך את בועות הדיבור לפני שהן נשלחות אליו.

מתאים ל

• חילוץ טקסט מבועות דיבור

  זיהוי יפנית מתוך חיתוכים ממוקדים של בועות קומיקס בדיוק גבוה בהרבה ממודלי ראייה כלליים.

• פייפליין מקומי לתרגום מנגה

  שילוב בתוך מערכת תרגום פרטית שרצה אופליין בלי לשלוח תמונות לשרתים חיצוניים.

• אינדוקס מאגרי קומיקס ביפנית

  סריקה והמרה של טקסט מסוגנן בחוברות לקובצי טקסט לצורכי חיפוש וקטלוג.

איפה זה נופל

הבעיה המרכזית היא שהמודל לא קורא עמודים שלמים. הוא אומן על חיתוכים של בועות דיבור ולא יודע לזהות את סדר הקריאה בעמוד מנגה או להפריד בעצמו בין טקסט לאיור. מי שרוצה לעבד עמוד שלם חייב להצמיד לו מודל איתור עצמים שיחתוך קודם כל בועה בועה.

בנוסף, הכרטיס מציין רגישות גבוהה לבלבול בין תווים דומים גרפית: סימני קריאה ושאלה ברוחב מלא לעומת חצי רוחב, אותיות ומספרים לטיניים, והחלפה בין סימני קאנג'י רגילים לשורשים בעלי קידוד יוניקוד שונה. זה אומר שלפני שמעבירים את הטקסט למנוע תרגום, תצטרכו להריץ עליו ניקוי ותיקון תווים.

איך מריצים

עם פחות ממיליארד פרמטרים ומשקל קבצים של 1.8 גיגה בייט, אתם יכולים להריץ אותו בקלות על כרטיס מסך ביתי צנוע או אפילו על מעבד רגיל אם זמן התגובה פחות קריטי. הוא נתמך ישירות בספריית transformers או דרך PaddleOCR, כך שאין צורך בתשתיות ענן יקרות או בהקמת שרתים מורכבים.

הקריאה למודל הגיונית כשבונים פייפליין מקומי לתרגום או לקריאה. אם כל מה שאתם צריכים זה לנתח כמה עמודים בודדים פעם בחודש, סביר להניח ששליחה למודל ראייה מסחרי גדול דרך API תחסוך לכם את הצורך לתחזק מודל חיתוך מקדים וסביבת ריצה משלכם.

pip install -U huggingface_hub
hf download jzhang533/PaddleOCR-VL-For-Manga

הקבצים

22 קבצים במאגר, 1.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors1.9 GB
• tokenizer.json11.2 MB
• tokenizer.model1.6 MB
• examples/01.png276.9 KB
• examples/05.png200.4 KB
• tokenizer_config.json185.5 KB
• examples/04.png151.7 KB
• examples/02.png132.4 KB
• modeling_paddleocr_vl.py112.2 KB
• examples/03.png77.4 KB
• added_tokens.json25.4 KB
• image_processing.py24.5 KB
• processing_paddleocr_vl.py12.3 KB
• configuration_paddleocr_vl.py8.1 KB
• README.md6.0 KB
• config.json2.0 KB
• .gitattributes1.8 KB
• chat_template.jinja1.6 KB
• special_tokens_map.json1.2 KB
• preprocessor_config.json687 B
• processor_config.json137 B
• generation_config.json133 B

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו כחלק ממוצר סגור או פתוח, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗