CMMMU
קוד פתוחm-a-pרישיון לא דווח2024-01-22
המאגר כולל 12k שאלות מולטימודליות שנאספו ידנית ממבחנים אקדמיים וספרי לימוד. הוא מיועד למי שרוצה לבחון יכולות הסקה מתקדמות של מודלי שפה ותמונה ברמה אוניברסיטאית בסינית.
- 781הורדות בחודש
- 31לייקים
מה זה
הנתונים מכסים שישה תחומים עיקריים: אמנות ועיצוב, עסקים, מדע, בריאות ורפואה, מדעי הרוח והחברה, וטכנולוגיה והנדסה. בתוך התחומים האלה השאלות מתפרסות על פני 30 מקצועות לימוד שונים, ומשלבות 39 סוגי תמונות בהם תרשימים, דיאגרמות, מפות, טבלאות, תווים מוזיקליים ומבנים כימיים.
התוכן נאסף ידנית מתוך בחינות מכללה, בחנים וספרי לימוד, והוא המקבילה הסינית לבנצ'מרק MMMU. החלוקה הפנימית מורכבת מפיצול לפי תחומים, כאשר כל נושא מחולק לקובצי dev, val ו־test. קבוצת הוולידציה מכילה 900 שאלות, וקבוצת המבחן כוללת 11K שאלות לצורך הערכת ביצועים של מודלים.
מתאים ל
- הערכת מודלי ראייה ושפה
בדיקת יכולת המודל לפתור שאלות רב תחומיות המשלבות טקסט לצד תרשימים או נוסחאות.
- מבחן ביצועים בסינית
מדידת הבנת הנקרא והתמונה ברמה אקדמית מול מודלים מובילים בבנצ'מרק ייעודי לשפה.
- בדיקת הסקה בתרשימים מורכבים
הערכת היכולת לפענח סוגי מדיה מגוונים כמו תווים מוזיקליים ומפות מורכבות.
איפה זה נופל
המאגר מתמקד כולו בשפה הסינית וברמת ידע אקדמית, כך שהוא לא רלוונטי למי שמחפש הערכה בעברית או משימות יומיומיות פשוטות. המפתחים מדגישים שהנתונים נאספו תוך ניסיון להימנע מהפרת זכויות יוצרים ומאתרים שאוסרים הפצה מחדש, אך הם מציעים לפנות אליהם להסרת תוכן במקרה של בעיה, מה שמעיד על סיכון מסוים לקניין רוחני של צד שלישי.
שאלות
נפוצות
האם מותר להשתמש במאגר לצרכים מסחריים?
לא דווח רישיון בכרטיס הדאטהסט. במצב כזה אין אישור רשמי לשימוש מסחרי, ומומלץ לפנות לצוות בכתובות המופיעות בכרטיס כדי לברר את תנאי השימוש לפני שמשלבים אותו בפיתוח עסקי.
האם הדאטהסט כולל תוכן בעברית?
לא, המאגר הוא בנצ'מרק המיועד לשפה הסינית. השאלות נאספו ממבחנים וספרי לימוד בסין ברמה אקדמית, ולכן הוא לא מתאים להערכת מודלים בעברית.
איך נאספו השאלות והתמונות?
הנתונים נאספו באופן ידני מתוך בחינות קולג', בחנים וספרי לימוד על פני 30 מקצועות שונים. לפי המפתחים, תהליך האיסוף נעשה תוך הנחיה להישמע לכללי זכויות יוצרים ולהימנע ממקורות שאוסרים העתקה והפצה מחדש.
מה ההבדל בין מאגר זה לבין MMMU?
המאגר CMMMU נבנה כמקבילה של MMMU אבל עבור השפה וההקשר האקדמי הסיני. הוא כולל 12k שאלות בשישה תחומי ליבה ומכיל 39 סוגי תמונות מגוונים המותאמים למבחנים אקדמיים.
איך טוענים
המאגר שמור בפורמט Parquet ומחולק לתקיות לפי תחומי הידע, למשל עסקים או אמנות. בכל תחום יש קבצים נפרדים עבור dev, val ו־test, ללא דרישה לאישור גישה מקדים כדי להוריד אותם. כל רשומה כוללת את השאלה, התמונה הנלווית מסוגים כמו דיאגרמות או מפות, והתשובות המתאימות. לא דווח המשקל הכולל של הקבצים בכרטיס, אך יש בו 21 קבצים בסך הכל.
from datasets import load_dataset
ds = load_dataset("m-a-p/CMMMU")הרישיון
לא דווח רישיון בכרטיס המאגר. המשמעות היא שאין הרשאה מפורשת לשימוש מסחרי, ואי אפשר לדעת מה המגבלות על מודל שתאמנו או תבחנו בעזרתו. גוף מסחרי שרוצה להשתמש בנתונים צריך לקחת בחשבון את הסיכון המשפטי או לפנות לצוות המחקר לפני תחילת העבודה.