magi
קוד פתוחragavsachdevaרישיון לא דווח2024-01-18
פתרון ייעודי לחילוץ טקסט ותמלול מתוך קומיקס ומנגה. הוא פונה למי שמנסה לקרוא עמודי קומיקס מורכבים שכלים כלליים מתקשים לפענח.
- 516Mפרמטרים
- 3.8 GBמשקל הקבצים
- 3,150הורדות בחודש
- 56לייקים
מה זה
הפיתוח הזה מגיע מאוניברסיטת אוקספורד ומכוון למטרה בודדת, תמלול אוטומטי של דפי קומיקס ומנגה. במקום לזרוק מודל ראייה כללי על סידור פאנלים מורכב, הוא נבנה כדי להבין את המבנה הייחודי של הז'אנר, שבו בועות דיבור, סדר קריאה ואיורים מתערבבים זה בזה.
עם כחצי מיליארד פרמטרים, מדובר במודל ממוקד שמוגדר תחת חילוץ מאפיינים ומשתלב בספריית transformers. הכרטיס לא מציג טבלאות ביצועים מפורטות, אבל הוא נשען על מחקר שמתמקד בזיהוי הדוברים וסדר הקריאה בעמוד, תחומים שבהם מערכות זיהוי תווים רגילות בדרך כלל קורסות.
מתאים ל
- תמלול ארכיוני מנגה
הוא מיועד לחלץ טקסט מתוך סריקות של קומיקס באנגלית שבהן סדר הפאנלים לא שגרתי.
- הנגשת קומיקס לקוראי מסך
זיהוי בועות הדיבור והסדר שלהן מאפשר להפוך עמוד מצויר לטקסט קריא.
- מחקר אקדמי בעיבוד תמונה
בסיס מצוין למי שחוקר זיהוי אלמנטים גרפיים מורכבים ומבנה עמודים לא ליניארי.
איפה זה נופל
המודל אומן ותועד עבור אנגלית בלבד. אם תנסו לתמלל קומיקס בעברית, סביר להניח שתקבלו ג'יבריש מוחלט או כשל בזיהוי הטקסט. בנוסף, כרטיס המודל ריק לחלוטין מהסברים טכניים על אופן השימוש בקוד, אין דוגמאות קריאה, וסעיף השימוש פשוט לא נכתב.
שאלות
נפוצות
האם המודל יודע לחלץ עברית מקומיקס ישראלי?
לא. המודל הוגדר ואומן עבור השפה האנגלית בלבד. הוא לא יזהה פונטים בעברית וכנראה ייכשל גם בניסיון לקרוא מימין לשמאל.
אפשר לשלב אותו באפליקציה בתשלום?
לא בלי אישור פרטני. היוצר דורש פנייה אישית במייל לצורך שימוש מסחרי, והשימוש החופשי מוגבל למחקר ולמטרות ללא כוונת רווח.
איך מריצים
המשקל הכולל של הקבצים עומד על כמעט 4 גיגה בייט בדיוק float32. כל כרטיס מסך ביתי מודרני עם 8 או 12 גיגה זיכרון יחזיק אותו בלי בעיה, ואפשר להריץ אותו מקומית דרך ספריית transformers בקלות יחסית.
מאחר שאין כאן שירות ענן רשמי או API מוכן שמתומחר לפי קריאה, הדרך היחידה להשתמש בו כרגע היא להוריד את המשקולות ולהרים שרת עצמאי.
from transformers import pipeline
pipe = pipeline("feature-extraction", model="ragavsachdeva/magi")
print(pipe("שלום"))הקבצים
10 קבצים במאגר, 3.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
החוקר מגדיר במפורש שהשימוש חופשי למחקר, מטרות אישיות וללא כוונת רווח בלבד. לשימוש מסחרי חייבים לפנות אליו ישירות במייל כדי לסגור רישיון נפרד, כך שאי אפשר לשלב אותו במוצר מסחרי כפי שהוא.