UniMER_Dataset
קוד פתוחwanderkidapache-2.02024-05-05
מעל מיליון זוגות של תמונות נוסחאות וקוד LaTeX תואם לאימון זיהוי ביטויים מתמטיים. הוא מרכז מקורות שונים ומיועד למי שבונה מודל OCR למסמכים מדעיים או צילומי מסך.
- 1,089הורדות בחודש
- 28לייקים
מה זה
המאגר מחולק לשני חלקים עיקריים. סט האימון כולל 1,061,791 צמדים של תמונה וקוד LaTeX, המשלבים נוסחאות פשוטות ומורכבות. עיקר המידע נאסף ממאמרי Arxiv בעיבוד של הצוות, 820,152 דוגמאות, לצד נתונים שנלקחו ממאגרים קיימים: 158,303 דוגמאות מסט האימון של Pix2tex, עוד 8,834 ממאגר CROHME, ו־74,502 ממאגר HME100K.
סט הבדיקה מכיל 23,757 דוגמאות ומחולק לארבע קטגוריות שנועדו לבחון תרחישים שונים. יש בו 6,762 ביטויים מודפסים פשוטים מתוך Pix2tex, 5,921 ביטויים מודפסים מורכבים מ־Arxiv, 4,742 צילומי מסך של קובצי PDF שנאספו על ידי הצוות, ו־6,332 ביטויים בכתב יד שמקורם ב־CROHME ו־HME100K.
מתאים ל
- אימון OCR למתמטיקה
אימון מודלים שמקבלים תמונת נוסחה ממאמר מדעי וממירים אותה ישירות לקוד LaTeX תקין.
- זיהוי צילומי מסך של נוסחאות
פיתוח כלים להמרת נוסחאות מצילומי מסך של קובצי PDF או אתרי אינטרנט לעריכה דיגיטלית.
- בנצ'מרק למודלי זיהוי כתב יד
הערכת ביצועי מודלים קיימים מול סט בדיקה שמכיל מעל 6,000 נוסחאות בכתב יד.
איפה זה נופל
הנתונים מוגבלים לשפות אנגלית וסינית מבחינת התוכן המלווה, ואין בו שום תמיכה או התייחסות לעברית. אם אתם בונים כלי למערכת החינוך הישראלית שמערבב טקסט בעברית עם נוסחאות מימין לשמאל, המאגר הזה מכסה רק את המתמטיקה המערבית הסטנדרטית. בנוסף, חובת ההורדה הידנית של HME100K מסרבלת את תהליך האוטומציה של צינור האימון שלכם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
המאגר עצמו מפורסם תחת רישיון Apache 2.0 המתיר שימוש מסחרי עם ייחוס. עם זאת, הדאטה נאסף בחלקו ממאגרים חיצוניים כמו Arxiv ו־HME100K, כאשר החלק של HME100K אפילו דרש החרגה מהקובץ בגלל זכויות יוצרים, ולכן מומלץ לבדוק את התנאים של מקורות המקור לפני שימוש מסחרי.
האם יש בדאטהסט תמיכה בטקסט בעברית?
לא. השפות המוגדרות במאגר הן אנגלית וסינית בלבד. כל הנתונים ממוקדים בביטויים מתמטיים מודפסים או בכתב יד בפורמט LaTeX סטנדרטי ללא שילוב עברית.
מה כולל סט הבדיקה של המאגר?
סט הבדיקה כולל 23,757 דוגמאות המחולקות לארבעה תרחישים שונים. הוא מכיל ביטויים מודפסים פשוטים, ביטויים מודפסים מורכבים, צילומי מסך של קובצי PDF ונוסחאות שנכתבו בכתב יד.
האם אפשר להוריד את כל הדאטהסט בפקודה אחת?
לא בדיוק. רוב החומר נמצא בקובצי הזיפ במאגר, אבל כדי להשלים את 74,502 הדוגמאות מ־HME100K בסט האימון וחלק מסט הבדיקה, תצטרכו להוריד אותן ידנית מאתר המקור שלהן בהתאם להנחיות היוצרים.
איך טוענים
המאגר מוגש כקבצי ארכיון דחוסים, בעיקר UniMER-1M.zip ו־UniMER-Test.zip, ללא צורך בבקשת גישה מיוחדת ביוגינג פייס. עם זאת, יש כאן מלכוד קטן בהורדה: בגלל זכויות יוצרים, חלק הנתונים שמקורו ב־HME100K אינו כלול ישירות בארכיון ודורש הורדה ידנית נפרדת מהאתר שלהם כדי להשלים את הסט במלואו.
from datasets import load_dataset
ds = load_dataset("wanderkid/UniMER_Dataset")הרישיון
הרישיון המדווח במאגר הוא Apache 2.0, שמאפשר שימוש מסחרי, שינוי והפצה תחת ייחוס מתאים. עם זאת, הדאטהסט מאגד בתוכו מקורות שונים, כולל HME100K שהוחרג מהארכיון מסיבות זכויות יוצרים, ולכן לפני שילוב במוצר מסחרי צריך לבדוק בנפרד את תנאי השימוש של כל מקור חיצוני שמוטמע בו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים