MEGA-Bench
קוד פתוחTIGER-Labapache-2.02024-10-17
אפשר גם להריץ אותו בדפדפן בלי להתקין דבר.
מעל 8,000 דוגמאות שנועדו לבחון מודלים רב-מודליים ביותר מ־500 משימות שונות מהעולם האמיתי. זהו בנצ'מרק שמכוון לגיוון רחב במקום לשאלות אמריקאיות רגילות.
- 709הורדות בחודש
- 23לייקים
מה זה
המאגר כולל 505 משימות מציאותיות שמכסות מעל 8,000 רשומות, ומטרתו לספק הערכה מגוונת למודלי ראייה ושפה. בניגוד למבחנים סטנדרטיים שמאלצים תשובות של ברירה מרובה, כאן הפורמטים כוללים מספרים, ביטויים, קוד, נוסחאות LaTeX, קואורדינטות, מבני JSON וטקסט חופשי. הנתונים עצמם נאספו מיצירה עצמית, צילומי מסך מהרשת ומאגרי מידע קיימים, כשעל התהליך עבדו 16 מתייגים מומחים.
החלוקה הפנימית מורכבת משני חלקים עיקריים. חלק הליבה, Core, מכיל 440 משימות שנבדקות באמצעות מגוון רחב של מעל 40 מדדי הערכה מותאמים אישית. החלק הפתוח, Open, מכיל 65 משימות שמדורגות על ידי מודל שפה רב-מודלי עם הנחיות ייעודיות לכל משימה. כברירת מחדל, כל שאילתה כוללת דוגמת One-shot להמחשת הפורמט, ויש גם תת-ערכות מיוחדות שמיועדות למודלים שתומכים בתמונה בודדת בלבד.
מתאים ל
- הערכת מודלי ראייה ושפה
בדיקת ביצועים של מודלים רב-מודליים על מאות משימות מורכבות עם פלטים מגוונים.
- בדיקת חילוץ מידע מובנה
בחינת יכולת המודל להחזיר תשובות מדויקות במבני JSON, קואורדינטות או LaTeX מתמונות.
- מדידת יכולות One-shot
הערכה של רמת הדיוק כשהמודל מקבל דוגמה אחת של קלט ופלט לפני המענה לשאלה.
איפה זה נופל
הנתונים כולם באנגלית בלבד. אם אתם בונים שירות שמיועד לקהל ישראלי ודורש הבנת עברית לצד תמונות, הדאטהסט הזה לא יבדוק את היכולות הללו. בנוסף, חומרי הגלם נאספו ממקורות מגוונים כולל צילומי מסך מהרשת, כך שחלק מהנתונים עלולים להכיל מיתוגים מסחריים ופרטים ספציפיים לתקופת האיסוף. המאגר מיועד במפורש להערכה ולא לאימון, ומודלים שמתקשים בעבודה עם מספר תמונות במקביל יצטרכו להסתפק בתת-הקבוצה המצומצמת של התמונה הבודדת.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה לצרכים מסחריים?
כן, המאגר מפורסם תחת רישיון Apache 2.0 שמאפשר שימוש מסחרי, שינוי והפצה. עם זאת, התמונות והסרטונים נאספו בחלקם ממקורות ברשת, ולכן יש לקחת זאת בחשבון אם אתם משתמשים במדיה עצמה. עליכם גם לשמור על הצהרת זכויות היוצרים המקורית של הפרויקט.
האם הדאטהסט כולל תמיכה בשפה העברית?
לא, כלל הנתונים, ההנחיות והדוגמאות במאגר מוגדרים באנגלית בלבד. אם אתם מעוניינים להעריך יכולות בעברית, תצטרכו לתרגם את המשימות או להשתמש בבנצ'מרק ייעודי אחר. המשימות הוויזואליות עשויות לעבוד ללא תלות בשפה, אך ההוראות והמדדים בנויים סביב אנגלית.
למה התמונות והסרטונים לא מופיעים בתוך קובצי ה־Parquet?
היוצרים בחרו להפריד את המדיה כדי למנוע חריגה ממגבלות הגודל של ממשק Hugging Face, שלא הצליח להציג שורות כבדות. קובצי הנתונים מכילים רק את נתיבי הקבצים המקומיים. כדי להריץ את הבדיקות, יש להוריד בנפרד את הקובץ data.zip ולחלץ אותו לנתיב המתאים.
מה ההבדל העיקרי בינו לבין מבחני הערכה רגילים למודלי ראייה?
מרבית המבחנים הקיימים בודקים שאלות אמריקאיות עם בחירה מרובה מתוך מספר תשובות. כאן יש 505 משימות שונות שדורשות פורמטים מציאותיים כמו כתיבת קוד, הפקת קואורדינטות ומבני נתונים, שנבדקים בעזרת עשרות מדדי הערכה ייעודיים.
איך טוענים
הנתונים מחולקים לקובצי Parquet ולתוכם לא הוכנסו קובצי המדיה ישירות, בגלל מגבלות גודל של ממשק התצוגה של Hugging Face. הטבלאות מחזיקות רק את נתיבי הקבצים, ואת קובצי התמונות והווידאו חייבים להוריד בנפרד בקובץ מכווץ בשם data.zip. המאגר פתוח להורדה ישירה ללא צורך באישור גישה. בכל שורה תמצאו שדות כמו שאילתת המשימה, נתיב המדיה, וכן שדות example_text ו־example_media שמציגים את הפורמט המבוקש. הרצת ההערכה המלאה דורשת שימוש בקוד הפייתון הייעודי שהחוקרים פרסמו ב־GitHub.
from datasets import load_dataset
ds = load_dataset("TIGER-Lab/MEGA-Bench")הרישיון
המאגר מופץ תחת רישיון Apache 2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי והפצה, בלי דרישה לשתף את השינויים שלכם תחת אותו רישיון. החובה העיקרית היא מתן קרדיט מתאים ליוצרים ושמירה על הודעות זכויות היוצרים המקוריות. אימון או בדיקה של מודלים על בסיס הנתונים לא מגבילים את הפצת המודל עצמו, אך יש לשים לב לכך שחומרי המדיה כוללים צילומי מסך ומקורות רשת שונים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים