MUIRBENCH

מה זה

המאגר כולל 2,600 שאלות רב-ברירה שנשענות על 11,264 תמונות. המטרה כאן היא לבחון מודלים מול עשרה סוגי קשרים שונים בין תמונות, כולל יחסים עלילתיים ומידע משלים, לאורך 12 משימות הבנה שונות כמו ניתוח תרשימים, ידע גיאוגרפי ואחזור חזותי.

בנוסף לשאלות רגילות, הכותבים יצרו גרסאות של שאלות ללא מענה כדי לבחון האם המודל מזהה מצבים שבהם חסר מידע ולא רק מנחש. התמונות עצמן לא צולמו במיוחד אלא נאספו ממאגרי תמונות קיימים, והנתונים מאורגנים בחמישה קובצי בדיקה שונים.

התוכן בנוי כסט מבחן שלם שמיועד להערכה ולא לאימון מקדים, כאשר כל רשומה כוללת את התמונות הרלוונטיות, השאלה והאפשרויות לתשובה.

מתאים ל

• בחינת מודלי ראייה

  מדידת הדיוק של מודלים מרובי-אופנים במענה על שאלות שדורשות הצלבה של מספר תמונות.

• בדיקת חוסן להזיות

  בחינה האם המודל יודע להודות שאין לו מספיק מידע בעזרת שאלות שאין להן מענה בתמונות.

• השוואת ביצועים לפרומפטים

  בדיקת שיטות שונות של הנדסת פרומפטים מול סט של 2,600 שאלות מוגדרות מראש.

איפה זה נופל

כל הטקסט במאגר כתוב באנגלית בלבד, כך שאי אפשר לבדוק בעזרתו ביצועים בעברית. המאגר משמש כסט מבחן בלבד ואינו כולל חלוקת אימון, כך שלא תוכלו לאמן איתו מודל ישירות. בנוסף, התמונות נאספו ממאגרים ישנים וקיימים, ולכן יש סיכון שחלקן כבר הופיעו בטקסטים שעליהם אומנו מודלים גדולים.

איך טוענים

הנתונים מחולקים לחמישה קובצי parquet תחת תיקיית הבדיקה. אין צורך באישור גישה מיוחד כדי להוריד אותם, וספריית datasets של Hugging Face מושכת אותם ישירות. מאחר שמדובר ביותר מ־11,000 תמונות שיושבות בתוך הקבצים, תהליך ההורדה והטעינה לזיכרון דורש נפח אחסון פנוי וזמן פריסה בהתאם.

from datasets import load_dataset

ds = load_dataset("MUIRBENCH/MUIRBENCH")

הרישיון

המאגר מופץ תחת רישיון cc-by-4.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה, בתנאי שניתן קרדיט מתאים ליוצרים. המפרסמים מציינים שהתמונות לוקטו ממאגרים קיימים ומזמינים בעלי זכויות לפנות אליהם במקרה של בעיה, מה שמחייב זהירות משפטית במוצרים מסחריים.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗