JMMMU
קוד פתוחJMMMUmit2024-09-29
שאלות רב ברירה ביפנית המשלבות תמונות ודיאגרמות להערכת הבנה רב-מודאלית. מתאים לבדיקת מודלי ראייה ושפה בתחומים אקדמיים ומקצועיים מוגדרים.
- 1,077הורדות בחודש
- 20לייקים
מה זה
המאגר מחולק לקונפיגורציות לפי נושאי לימוד שונים, כגון חקלאות, ראיית חשבון, רפואה, הנדסה, מדעי המחשב וכלכלה. בכל תחום נכללות שאלות רב ברירה בליווי תמונות, שנועדו לבחון יכולת הסקה ויזואלית ומילולית ברמה מקצועית. בכל רשומה תמצאו שאלות, אפשרויות בחירה, הסברים לתשובה, תשובה נכונה, וסיווג לפי רמת קושי ותחום משנה.
המבנה של כל דוגמה כולל עד שבע תמונות שונות המוצמדות לשאלה אחת. לכל תמונה מצורפים שדות ייעודיים לרישיון המקור, ייחוס ליוצרים, וציון האם נעשה שימוש בתמונה המקורית מתוך פרויקט MMMU. הנתונים מופיעים כולם תחת פיצול מבחן בלבד, כאשר כל קונפיגורציה כוללת 30 דוגמות מדודות היטב.
מתאים ל
- בנצ׳מרק למודלי ראייה
מדידת ביצועים של מודלי VLM במענה על שאלות מקצועיות מורכבות ביפנית.
- בדיקת יכולת אקדמית ביפנית
בחינת תרגום והבנה של תרשימים ודיאגרמות בתחומי הנדסה, מדע וכלכלה.
- הערכת עמידות רב-לשונית
השוואת יכולות הניתוח החזותי של מודל כללי בשפות שאינן אנגלית.
איפה זה נופל
הנתונים מוגבלים לשפה היפנית בלבד ואינם מכילים עברית או אנגלית. כל קונפיגורציה כוללת 30 שאלות מבחן בלבד, ולכן המאגר אינו מתאים לאימון מודלים אלא אך ורק להערכה צרה ומדויקת. אם אתם בונים שירות לקהל ישראלי או דוברי שפות מערביות, המאגר הזה פשוט לא ישרת אתכם. נוסף לכך, הכרטיס אינו מפרט את מקורות הדגימה המדויקים מעבר להתבססות על MMMU, ויש להביא בחשבון הטיות תרבותיות או מקצועיות המובנות בתוכן יפני.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
רישיון המאגר הכולל הוא MIT ומאפשר שימוש מסחרי ללא תשלום. למרות זאת, יש לשים לב לרישיונות הספציפיים המצוינים עבור כל תמונה בנפרד בשדות המטא-דאטה, שכן חלקן עשויות לדרוש ייחוס מיוחד.
כמה שוקל הדאטהסט והאם הוא דורש משאבים כבדים?
המאגר מחולק לקבצי Parquet קטנים יחסית לפי נושאים, הנעים בין מאות קילובייטים לעשרות מגה-בייטים בודדים לכל נושא. סך כל הנפח קל מאוד להורדה ולעיבוד, ואין צורך בתשתית אחסון ייעודית.
האם יש במאגר שאלות או תרגומים בעברית?
לא. המאגר מוגדר ומכיל טקסטים בשפה היפנית בלבד, יחד עם תמונות מקצועיות, ואינו כולל תוכן בעברית.
האם המאגר מתאים לאימון מודל חדש?
לא, המאגר מיועד להערכה בלבד ומכיל פיצול מבחן בלבד עם 30 דוגמות לכל נושא. כמות הדגימות קטנה מכדי לאמן או לכוונן מודלים.
איך טוענים
טוענים את הנתונים דרך ספריית datasets על ידי ציון שם המאגר והקונפיגורציה הרצויה, למשל Computer_Science. הגישה חופשית לגמרי ואינה דורשת אישור מוקדם. הקבצים שמורים בפורמט Parquet וכוללים עמודות תמונה בינאריות לצד הטקסט, לכן כדאי לוודא שהסביבה שלכם ערוכה לפענוח תמונות ולא רק לעיבוד שפה. השדות המרכזיים לעבודה הם question, options, answer ועמודות התמונות image_1 עד image_7.
from datasets import load_dataset
ds = load_dataset("JMMMU/JMMMU")הרישיון
המאגר מופץ תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים ומחקריים, לשנות אותו ולהפיץ מודלים שנבדקו לפיו, בכפוף למתן קרדיט. עם זאת, בכל רשומה יש שדות רישיון וייחוס נפרדים לכל אחת מהתמונות, ולכן חובה לבדוק את התנאים הנקודתיים של הקבצים הגרפיים לפני שימוש חיצוני.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש