MMEB-eval
קוד פתוחTIGER-Labapache-2.02024-10-08
זהו אוסף מבחנים רחב למודלי שיבוץ מולטימודליים, שמשלב טקסט ותמונה יחד. הוא נבנה כדי לבדוק איך מודלים מתמודדים עם אחזור, התאמה ומענה לשאלות על פני עשרות משימות שונות.
- 2,714הורדות בחודש
- 16לייקים
מה זה
המאגר מאגד 36 דאטהסטים מוכרים לבדיקה והערכה, המחולקים לארבע משימות על. כל תת מאגר כולל בדיוק 1,000 דוגמאות שנבחרו לצורך מבחן ביצועים. המבנה הפנימי אחיד לאורך כל הבנצ'מרק, כאשר כל רשומה כוללת שאילתה ומולה רשימה של מטרות אפשריות.
השאילתות והמטרות יכולות להופיע כטקסט בלבד, כתמונה בלבד, או כשילוב של שניהם יחד. המטרה הנכונה תמיד מופיעה ראשונה ברשימת המועמדים בכל דוגמה. בין המקורות שנכללים בו תמצאו משימות כמו מענה על שאלות חזותיות מתוך DocVQA וגם ChartQA, אחזור תמונות לפי אופנה מתוך FashionIQ, זיהוי מתוך CIFAR-100 ועוד.
החוקרים שפרסמו אותו ליקטו את המאגרים האלה כחלק מהמחקר על VLM2Vec, במטרה להעריך יכולות הכללה של מודלים מולטימודליים. הם לא יצרו מידע חדש מאפס, אלא לקחו סטים קיימים ועיבדו אותם לתבנית אחידה של אחזור ודירוג.
מתאים ל
- הערכת מודלי שיבוץ
בדיקת איכות הווקטורים שמודל מייצר עבור שאילתות משולבות טקסט ותמונה מול מאגר מטרות רחב.
- מבחן ביצועים לאחזור מסמכים
מדידת יכולת מודלים לשלוף תרשימים ומסמכים סרוקים מתוך נתוני ChartQA וגם DocVQA.
- השוואת ביצועים לפני שחרור
הרצה שיטתית מול 36 משימות שונות כדי לקבל ציון מצרפי ולהשוות אותו למודלים קיימים בספרות.
איפה זה נופל
המאגר מוגבל לשפה האנגלית בלבד, ואין בו שום ייצוג לשפות אחרות או לתוכן ישראלי ומקומי. הוא מיועד להערכה בלבד עם 1,000 דוגמאות קבועות לכל משימה, ולא מתאים לאימון רחב של מודלים. בנוסף, הוא נשען על מקורות קיימים ומוכרים, מה שאומר שהטיות מקוריות בנתונים נכנסו פנימה. החוקרים לא פירטו בכרטיס סינון רעשים מיוחד, וחלק מהמשימות ספציפיות מאוד ולא משקפות בהכרח שימוש אמיתי במוצר חי.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
הרישיון המוצהר ברמת המאגר הוא apache-2.0, שמאפשר שימוש מסחרי חופשי למדי. יחד עם זאת, הנתונים נאספו מ־36 מקורות מחקריים שונים, ולחלקם עשויים להיות תנאים מגבילים משלהם. אם אתם בונים מוצר, מומלץ לבדוק את תנאי המקור של כל משימה שאתם משלבים.
האם יש במאגר דוגמאות בעברית?
לא. הדאטהסט כולל אך ורק נתונים בשפה האנגלית, כפי שמוגדר במאפייני המאגר. אם אתם מחפשים להעריך מודלים על שפה מקומית או טקסטים מישראל, תצטרכו לתרגם את השאילתות או לבנות מבחן ייעודי משלכם.
מאיפה הנתונים נאספו ואיך הם נבנו?
צוות המחקר של TIGER-Lab בחר 36 דאטהסטים קיימים של ראייה ממוחשבת ושפה, כמו A-OKVQA, CIRR ו־DocVQA. הם דגמו 1,000 דוגמאות מכל אחד וסידרו אותן במבנה אחיד של שאילתה ורשימת מטרות.
במה הוא שונה ממאגרי הערכה רגילים?
רוב המאגרים מתמקדים במשימה אחת, כמו זיהוי תמונה או מענה לשאלות טקסטואליות. כאן מקבלים כיסוי של 4 משימות על מולטימודליות במבנה זהה, מה שמאפשר לבדוק מודל יחיד על מגוון רחב מאוד של אתגרים.
איך טוענים
אתם מושכים את הנתונים ישירות דרך הספרייה של Hugging Face בלי צורך בבקשת גישה מיוחדת. הכל יושב בתוך 43 קובצי Parquet, שזה פורמט קל ויעיל לקריאה מהירה בקוד.
לפני שמתחילים להריץ הערכה, כדאי לשים לב שהמבנה בנוי על תיקיות נפרדות לכל דאטהסט. כל קובץ מייצג משימה מסוימת, והרשומות מחזיקות שדות של שאילתה, מועמדים והתשובה הנכונה שיושבת תמיד באינדקס הראשון. סך הדגימות במאגר כולו נע בין 10,000 ל־100,000 רשומות, כך שהוא לא שוקל הרבה ואפשר להריץ אותו גם על חומרה מקומית סבירה.
from datasets import load_dataset
ds = load_dataset("TIGER-Lab/MMEB-eval")הרישיון
המאגר מופץ ברישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי ומאפשר לשנות את הקבצים ולהפיץ אותם, בתנאי ששומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי. אין חובה לשתף פיתוחים עתידיים באותו רישיון. עם זאת, מכיוון שהמאגר מאגד 36 מקורות שונים, חובה לבדוק בנפרד את הרישיונות המקוריים של כל דאטהסט לפני שילוב ישיר במוצר מסחרי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים