olmOCR-7B-0225-preview

מה זה

אלן AI לקחו את Qwen2-VL-7B ואימנו אותו מחדש על דאטה-סט ייעודי בשם olmOCR-mix-0225 כדי לפתור בעיה ספציפית: המרת מסמכים סרוקים, דוחות ומאמרים לטקסט נקי. במקום לנסות להיות מודל שיחה כללי שסתם יודע לזהות תמונות, הדגם הזה מתמקד בהבנת המבנה הפנימי של הדף, כולל בלוקים של טקסט ומטא-דאטה שנלווים אליהם.

המודל דורש שתמירו את עמוד המסמך לתמונה שבה הצלע הארוכה ביותר היא בדיוק 1024 פיקסלים, ומצפה לפרומפט שמכיל מטא-דאטה מובנה על מבנה הדף. הוא לא מקבל סתם תמונה גולמית של דף ומנחש לבד מה קורה שם, אלא נשען על קדם-עיבוד שמחלץ מידע בסיסי כדי לדייק את הפלט. המפתחים בנו סביבו ארגז כלים שלם שדואג להכנת הנתונים הזו ולהרצה מהירה בקנה מידה רחב.

מי שמתעסק עם קריאת מסמכים באנגלית ימצא כאן כלי ממוקד יותר ממודלי ראייה כלליים. עם זאת, הוא לא מיועד להחליף מנועי OCR מסורתיים עבור משימות פשוטות של שורה אחת, אלא מכוון לעיבוד עמוק של דפים שלמים שדורשים שמירה על הקשר וסדר קריאה נכון.

מתאים ל

• המרת מאמרים אקדמיים לטקסט

  הוא יודע להתמודד עם טורים מרובים ומבנה מורכב של עמודים באנגלית טוב יותר מ־OCR רגיל.

• דיגיטציה של דוחות באנגלית

  התשתית עם sglang מתאימה לטחינה של כמויות ענק של מסמכים סרוקים בתוך ארגון.

• בניית מאגרי מידע ל־RAG

  הוא מחלץ טקסט תוך שמירה על ההקשר של הדף, מה שמקל על חלוקה מדויקת למקטעים.

איפה זה נופל

החולשה המרכזית עבור משתמשים בארץ היא השפה. המודל מוגדר ומאומן עבור אנגלית בלבד, כך שאין מה לבנות עליו לחילוץ טקסט בעברית. בנוסף, זוהי גרסת preview, כלומר היא עדיין לא מוצר סופי ויכולה לסבול מאי-דיוקים. המודל גם תלוי לחלוטין בהכנה מקדימה של התמונה לגודל 1024 פיקסלים ובחילוץ מטא-דאטה, כך שאי אפשר פשוט לזרוק עליו קובץ PDF גולמי ולצפות לתוצאה טובה בלי להריץ את כלי העזר שמסביבו.

איך מריצים

בשביל להריץ 8.3 מיליארד פרמטרים בפורמט bfloat16 תצטרכו כרטיס מסך עם לפחות 24 גיגה-בייט של VRAM, כמו RTX 3090 או A10, כדי לטעון את 15.5 הגיגה של המשקלים ולהשאיר מקום לחלון ההקשר. המפתחים ממליצים להשתמש בספריית sglang יחד עם ארגז הכלים שלהם, מה שמאפשר לייצר תשתית עיבוד שמסוגלת לבלוע כמויות גדולות של מסמכים בצורה מקבילית.

אם יש לכם רק כמה עשרות דפים פה ושם, כנראה שעדיף להשתמש ב־API קיים ולא להרים שרת ייעודי שתופס חומרה יקרה. הרצה עצמית של המודל הזה משתלמת בעיקר אם יש לכם מאגר של אלפי עמודים שאתם רוצים להמיר אופליין בלי לשלם על כל קריאה ובלי להוציא את המידע מהרשת הפנימית.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="allenai/olmOCR-7B-0225-preview")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 15.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.7 GB
• tokenizer.json7.0 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• model.safetensors.index.json56.5 KB
• README.md4.4 KB
• tokenizer_config.json4.2 KB
• .gitattributes1.5 KB
• config.json1.2 KB
• chat_template.json1.1 KB
• preprocessor_config.json347 B
• generation_config.json244 B

הרישיון

הקוד והמשקלים שוחררו תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי חופשי, שינוי של הקוד והפצה מחדש בלי תמלוגים, כל עוד שומרים על הודעות זכויות היוצרים המקוריות. למרות שהמפתחים מציינים שהגרסה מיועדת למחקר ולחינוך ומפנים להנחיות שימוש אחראי, הרישיון המשפטי עצמו אינו מגביל הטמעה במוצרים מסחריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗