POINTS-Reader

מה זה

מדובר במודל שמשלב רכיב ראייה NaViT של 600 מיליון פרמטרים עם מודל שפה מסוג Qwen2.5 בנפח של 3 מיליארד פרמטרים. המבנה שלו ממוקד לחלוטין במשימה בודדת. אתם מעבירים תמונת מסמך יחד עם הנחיה קבועה, והוא מחזיר ישירות את הטקסט החוצה כמחרוזת אחת, בלי צורך לחבר צינורות עיבוד נפרדים לזיהוי פסקאות או טבלאות.

במדד OmniDocBench הוא מציג שגיאת עריכה נמוכה מאוד של 0.133 באנגלית ושל 0.212 בסינית. המספרים האלה מציבים אותו ברמת דיוק שעוקפת שירותים כמו Mathpix ומודלים כלליים גדולים בהרבה כמו GPT4o וגרסאות ה־72B של Qwen. היתרון הבולט שלו הוא בזיהוי מבנה טבלאות ובשמירה על סדר קריאה נכון של עמודות, נקודה שבה כלים קלאסיים נוטים להישבר.

מתאים ל

• המרת מאמרים אקדמיים

  הוא מחלץ נוסחאות מתמטיות ושומר על מבנה טבלאות מדויק באנגלית בלי לפרק את המאמר לכלים נפרדים.

• דיגיטציה של חוזים

  שומר על סדר קריאה נכון במסמכים מודפסים באנגלית ומפיק טקסט ישיר בלי שלבי ניקוי נוספים.

• מערכות עיבוד מהירות

  בזכות רכיב הראייה הקטן והתמיכה ב־SGLang הוא מספק תפוקת עיבוד גבוהה על חומרה חסכונית.

איפה זה נופל

הכרטיס מצהיר בפירוש על חוסר יכולת להתמודד עם שפות שאינן אנגלית או סינית, ולכן הוא לא מתאים למסמכים בעברית. עימוד מורכב מאוד כמו עיתונים גורם לו לפספס קטעים או להיכנס ללולאות של חזרות טקסט, תופעה שמחייבת לפעמים להעלות את רזולוציית התמונה כדי למזער אותה. הוא גם נכשל בזיהוי כתב יד על גבי פתקים וקבלות.

איך מריצים

המודל שוקל 7.7 ג'יגה בייט בפורמט bfloat16, כך שכרטיס מסך ביתי או שרת זול עם 12 עד 16 ג'יגה זיכרון וידאו מספיק לחלוטין כדי להריץ אותו. מריצים אותו ישירות דרך ספריית transformers בפייתון 3.10 עם PyTorch 2.5.1 וגרסת CUDA 12.1, או בתוך מחברת עבודה בענן.

לסביבת ייצור עם נפחי עבודה גדולים, הצוות הוסיף תמיכה בשרת SGLang על כרטיס בודד עם פרמטר trust-remote-code, מה שמספק קצב עיבוד גבוה בהרבה. אין למודל גרסאות משקל שונות, ואם המטרה היא סריקת מסמכים בסינית או אנגלית בהיקף רחב, הרצה עצמית שלו תהיה חסכונית משמעותית מתשלום לפי עמוד לספקי ענן.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="tencent/POINTS-Reader")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 7.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors5.0 GB
• model-00002-of-00002.safetensors3.3 GB
• tokenizer.json7.0 MB
• vocab.json2.8 MB
• images/logo.png148.7 KB
• model.safetensors.index.json69.7 KB
• NOTICE.txt22.5 KB
• README.md19.0 KB
• modeling_pointsv15_chat.py9.3 KB
• tokenizer_config.json7.3 KB
• config.json5.3 KB
• LICENSE.txt2.2 KB
• .gitattributes1.6 KB
• configuration_pointsv15_chat.py968 B
• preprocessor_config.json702 B
• generation_config.json69 B

הרישיון

הרישיון הוא Apache 2.0 מלא. אפשר להשתמש במודל לצרכים מסחריים, לשנות את הקוד שלו, לשלב אותו במוצרים פנימיים או חיצוניים ולהפיץ אותו חופשי. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי בקבצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗