TextCaps
קוד פתוחlmms-lab-encoderרישיון לא דווח2024-01-22
המאגר כולל תמונות עם כיתובים שדורשים קריאת טקסט מתוך התמונה עצמה. מי שבונה או בודק מודלי ראייה ושפה צריך אותו כדי לדעת אם המודל באמת קורא שלטים וטקסטים.
- 1,797הורדות בחודש
- 15לייקים
מה זה
מדובר בגרסה ערוכה של TextCaps המקורית, שהוכנה במיוחד עבור ספריית הבדיקות lmms-eval להערכה מהירה של מודלים מולטי-מודאליים. הנתונים מתבססים על המחקר של סידורוב ושותפיו משנת 2020, שבו נאספו תמונות המכילות טקסט כתוב ונוספו להן תיאורים שמתייחסים ישירות לאותיות ולמילים המופיעות בתוכן החזותי.
הקבצים במאגר מחולקים למבנה של אימון ומבחן. המידע שמור בקובצי parquet, כאשר סט המבחן פרוס על פני שני קבצים וסט האימון מחולק לשלושה עשר חלקים נפרדים. הכרטיס הנוכחי לא מפרט תהליכי סינון מיוחדים מעבר להתאמת הפורמט למערכת ההרצה שלהם.
מתאים ל
- מבחן ביצועים למודלי ראייה
הרצת הערכה מובנית דרך lmms-eval לבדיקת יכולת המודל לשלב קריאת טקסט בתוך תיאור תמונה.
- אימון כיתוב תמונות
שיפור היכולת של מודלים מולטי-מודאליים לחלץ מידע מתוך שלטים, תוויות וספרים.
- מדידת יכולות OCR בהקשר
בדיקה אם המערכת מסוגלת לא רק לזהות אותיות אלא להבין את משמעותן בתוך הסצנה.
איפה זה נופל
הכרטיס לא מדווח על הטיות מסוימות, אבל המקור מתמקד באנגלית בלבד ואין בו תמיכה בשפות אחרות כמו עברית. הטקסטים והתמונות נאספו סביב שנת 2019, כך שהסביבה החזותית מייצגת את השנים ההן. בנוסף, חסר כאן פירוט מלא של שדות המטא-דאטה, ולכן חייבים לפתוח קובץ בדיקה ולראות מה בדיוק מגיע בתוך הרשומות לפני שמשלבים אותן בתהליך עבודה קבוע.
שאלות
נפוצות
האם מותר להשתמש במאגר לצרכים מסחריים?
לא מומלץ לגעת בו לפרויקט מסחרי כרגע. בדף של lmms-lab לא מופיע שום רישיון רשמי, מה שמשאיר את הסטטוס המשפטי שלו פתוח לחלוטין. לפני שאתם מכניסים אותו למוצר, תצטרכו לבדוק את הרישיון המקורי שפרסמו יוצרי TextCaps ב־2020.
האם הדאטהסט כולל תמונות עם טקסט בעברית?
הנתונים מבוססים על מחקר שנערך באנגלית וכוללים כיתובים באנגלית בלבד. לא תמצאו כאן שלטים, מוצרים או תיאורים בעברית. אם אתם מכוונים למודל שמבין את השפה המקומית, תצטרכו לאסוף מקורות נפרדים.
איך הנתונים מאורגנים בתוך המאגר?
החלוקה מתבצעת באמצעות קובצי parquet ישירים שמוכנים לעבודה. ישנם שלושה עשר קבצים של סט האימון ועוד שני קבצים שמיועדים לחלק המבחן. המבנה הזה נבנה כדי לאפשר טעינה מהירה בכלי ההערכה של היוצרים.
מה ההבדל בין המאגר הזה ל־TextCaps המקורי?
התוכן מבוסס על אותו מאמר מ־2020, אבל כאן הוא ארוז מחדש כדי להתאים ישירות לפייפליין של lmms-eval. החבילה נועדה לחסוך עבודת הכנה וניקוי של הפורמט המקורי בלחיצה אחת. מעבר לשינויי המבנה האלה, מדובר באותן התמונות והכיתובים.
איך טוענים
אתם מושכים את הנתונים ישירות דרך ספריית datasets של Hugging Face באמצעות המזהה lmms-lab-encoder/TextCaps. אין צורך לבקש אישור גישה מיוחד כדי להוריד את הקבצים. כל המידע יושב בתוך תשעה עשר קבצים במאגר, רובם המוחלט בפורמט parquet יעיל. כדי להריץ בדיקה תצטרכו לטעון את חלקי ה־test או ה־train הרלוונטיים, ולחלץ מהרשומות את התמונות ואת מחרוזות הכיתוב שמגיעות איתן.
from datasets import load_dataset
ds = load_dataset("lmms-lab-encoder/TextCaps")הרישיון
בעמוד המאגר לא דווח רישיון כלל. כשאין הגדרה מפורשת, מבחינה משפטית אין לכם היתר שימוש ברור, לא לצרכים מסחריים ואפילו לא למחקר פרטי. מודל שתאמנו על בסיס נתונים ללא רישיון עלול להעמיד אתכם בסיכון של הפרת זכויות יוצרים, ולכן חובה לאתר את תנאי המקור של TextCaps לפני שנוגעים בקבצים.