protonx-legal-tc
קוד פתוחprotonx-modelsרישיון לא דווח2025-11-05
הכלי מנקה שגיאות סריקה ותקלות ניקוד בטקסטים משפטיים בווייטנאמית. הוא בנוי לעבודה ממוקדת על מסמכי מקור ומיועד למי שמעבד חוזים או פלטי זיהוי תווים בשפה הזו.
- 226Mפרמטרים
- 512טוקנים בהקשר
- 866 MBמשקל הקבצים
- 30,416הורדות בחודש
מה זה
מדובר במודל שמבוסס על ארכיטקטורת T5 עם 226 מיליון פרמטרים, שכל תפקידו הוא תיקון טקסטים משפטיים ורשמיים בווייטנאמית. הוא מתמקד בתיקון סימני ניקוד, חלוקת מילים שבורה ומונחים משפטיים שהשתבשו בסריקות של פדאל או סי אר. האימון שלו נשען על 800 אלף זוגות משפטים, כולל עשרות אלפים שתויגו ידנית מתוך צווים ממשלתיים, החלטות וחוזים.
במבחן התוצאה מול מאגר האימות המשפטי של החברה הוא מציג ציון רוז' אל של 96.95 אחוזים. בפועל, המשמעות היא שהפלט נשאר צמוד מאוד למקור ואינו משכתב פסקאות או ממציא מונחים חדשים. המטרה כאן היא ניקוי מדויק בלי לשנות את המשמעות של סעיפים משפטיים.
מתאים ל
- ניקוי פלטי OCR בווייטנאמית
הוא מיועד לתקן אותיות שנפלו או נחתכו במהלך סריקה של מסמכים משפטיים.
- הכנת חוזים לחיפוש סמנטי
מנקה שגיאות לפני הטמעת המסמכים במאגרי מידע ומערכות RAG ייעודיות.
- תיקון ניקוד במסמכי ממשל
משחזר סימני הגייה ומונחים מנהליים רשמיים ששובשו בהקלדה או המרה.
איפה זה נופל
חלון ההקשר קצר להחריד. האימון הוגבל ל־128 טוקנים בלבד לקלט ולפלט, או עד 160 טוקנים בגרסה הזו, מה שאומר שאי אפשר להזין לתוכו עמוד מלא שלם בלי לחתוך אותו ידנית למשפטים בודדים. מעבר לזה, הוא מיועד לווייטנאמית בלבד, ולא יודע להשלים פסקאות שלמות שנמחקו או להתמודד עם שפת רחוב וסלנג.
שאלות
נפוצות
האם אפשר להשתמש בו לניקוי מסמכים בעברית או באנגלית?
לא. המודל אומן אך ורק על השפה הווייטנאמית ועל מונחים משפטיים מקומיים, ולכן אין לו שום תועלת בשפות אחרות.
האם הוא ישכתב לי את החוזה לשפה פשוטה יותר?
לא. המבנה שלו מונע שכתוב כדי לא לפגוע בתוקף המשפטי של המסמך, ותפקידו מסתכם בתיקון שגיאות כתיב, ניקוד ומילים שבורות.
איך מריצים
בגלל גודל של 866 מגה בייט ופחות מרבע מיליארד פרמטרים, כל מעבד מודרני ממוצע יכול להריץ אותו מקומית בלי מאמץ מיוחד. כרטיס גרפי בסיסי יספיק למהירויות גבוהות בזמן אמת, ומשתמשים שרק בודקים אותו יכולים להעלות אותו ישר למחברת קולאב של גוגל.
אין שום סיבה טכנית להסתמך על שירות מרוחק בשביל מודל בגודל הזה. עם זאת, התהליך דורש שימוש בספריית תיקון הטקסט הייעודית או בהגדרות טרנספורמרס בסיסיות, לצד חלוקה מראש של הטקסט למנות קצרות.
pip install -U huggingface_hub hf download protonx-models/protonx-legal-tc
הקבצים
10 קבצים במאגר, 866 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון של המודל לא דווח באופן רשמי במטא־דאטה של הדף, אך בטקסט עצמו צוין רישיון לא מסחרי בגרסה 1.3. המשמעות היא שכרגע אסור להכניס אותו למוצר מסחרי או לתהליך עבודה שמייצר הכנסות ישירות בלי לקבל אישור נפרד מהיוצרים.