MME-RealWorld
קוד פתוחyifanzhang114apache-2.02024-08-17
בנצ'מרק ויזואלי של 13,366 תמונות ברזולוציה גבוהה ו־29,429 שאלות ותשובות שנכתבו ידנית. הוא בוחן מודלי שפה רב מודליים בתרחישים אמיתיים קשים, שבהם המודלים המובילים מתקשים לעבור 55% דיוק.
- 1,790הורדות בחודש
- 24לייקים
מה זה
המאגר כולל 13,366 תמונות ברזולוציה ממוצעת של 2,000 על 1,500 פיקסלים, ועליהן 29,429 זוגות של שאלות ותשובות שמכסים 43 תתי משימות בחמישה תרחישים מעשיים. המשימות כוללות נהיגה אוטונומית, ניטור תנועה מורכב, תרשימים וטבלאות, וחישה מרחוק עם תמונות שמגיעות ליותר מ־5,000 על 5,000 פיקסלים. הנתונים מחולקים למשימות רב ברירה, מענה על שאלות והבנה חזותית.
כל המידע נאסף ותויג ידנית על ידי 32 אנשים, 25 עובדי מיקור חוץ ושבעה מומחים בתחום, ללא שימוש בתיוג אוטומטי של מודלים. בנוסף לקובצי המקור באנגלית, יש במאגר חלק ייעודי בשם MME-RealWorld-CN שמכיל 5,917 זוגות שאלה ותשובה על תמונות שנאספו במיוחד מתרחישים בסין ותויגו על ידי דוברי המקום, כדי להימנע מבעיות של תרגום מכונה ותרחישים מערביים לא מתאימים.
מתאים ל
- הערכת מודלי ראייה ושפה
בדיקת יכולת המודל לענות על שאלות ברמת פירוט גבוהה מול נתוני אמת קשים.
- ניתוח תצלומי אוויר
הערכת יכולות ראייה ממוחשבת על תמונות לוויין ברזולוציה של מעל 5,000 פיקסלים.
- ניטור ובקרת תנועה
בחינת יכולות ספירה וזיהוי מרובה עצמים מתוך מצלמות אבטחה ונהיגה אוטונומית.
איפה זה נופל
הרזולוציות הגבוהות דורשות מודלים שמסוגלים לטפל בהרבה טוקנים של תמונה בלי לכווץ אותה ולאבד פרטים. אין כאן עברית בכלל, והמאגר מוגבל לאנגלית ולתרחישים בסין. המשימות נבחרו בכוונה להיות קיצוניות, כמו ספירת 133 מכוניות במצלמת אבטחה בודדת או זיהוי עצמים זעירים במפות לוויין. אלו מבחנים שבודקים קצה גבול יכולת ולא מתאימים למדידת הבנה יומיומית פשוטה.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
כן, הרישיון המדווח הוא Apache 2.0 והוא מאפשר שימוש מסחרי מלא. צריך לוודא ששומרים על תנאי הייחוס והודעת הרישיון המקורית. אם מאמנים מודל על הנתונים, הרישיון אינו כופה שחרור של המודל בקוד פתוח.
האם יש תמיכה בעברית?
אין במאגר עברית כלל. השאלות והתשובות מנוסחות באנגלית, ויש חלק נפרד בסינית שנאסף על תרחישים מקומיים. שימוש בו למודלים בעברית ידרוש תרגום חיצוני.
כמה מקום ומשאבים צריך כדי להריץ אותו?
המאגר מורכב מ־26 קבצים, כולל ארכיונים מחולקים של תמונות כבדות ברזולוציה גבוהה. תצטרכו שטח אחסון פנוי לאיחוד הקבצים ולחילוץ שלהם. להערכה מהירה יותר קיים מאגר נפרד עם 50 דוגמאות למשימה שמקל על כוח העיבוד.
איך המידע נאסף ונבדק?
בניגוד למאגרים שמסתמכים על שאלות שנוצרו על ידי בינה מלאכותית, כאן 32 אנשים תייגו את הנתונים ידנית. הצוות כלל 25 עובדי מיקור חוץ ושבעה מומחים שעשו בדיקות צולבות. המטרה הייתה לייצר 29,429 שאלות ותשובות מדויקות שמבוססות על תמונות אמיתיות.
איך טוענים
הורדת החומר דורשת הכנה מקדימה. התמונות שמורות כארכיונים מכווצים שחולקו למספר חלקים עם סיומת part_aa, למשל עבור תמונות ניטור או נהיגה אוטונומית. לפני הטעינה בקוד צריך לאחד אותם עם פקודת cat ולחלץ את קובצי ה־tar.gz. קובצי הטקסט זמינים בפורמטים פשוטים של JSON ו־CSV. אין צורך באישור גישה ידני, ואפשר להריץ הערכה ישירה של מודלים דרך הספריות VLMEvalKit או Lmms-eval. אם רוצים ריצה קלה יותר, יש גרסת lite נפרדת עם 50 דוגמאות למשימה.
from datasets import load_dataset
ds = load_dataset("yifanzhang114/MME-RealWorld")הרישיון
הרישיון המדווח הוא Apache 2.0. הוא מתיר שימוש מסחרי ומחקרי, מאפשר לשנות את הקוד והנתונים, ואינו מחייב שיתוף של מודלים מאומנים תחת אותו רישיון. החובה העיקרית היא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים שמפיצים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים