ALM-Bench
קוד פתוחMBZUAIcc-by-nc-4.02024-11-20
המאגר מרכז 22.7 אלף שאלות ותשובות רב לשוניות מול תמונות, עבור 100 שפות שונות. הוא מיועד לבדיקת היכולת של מודלי ראייה ושפה להתמודד עם הקשר תרבותי מקומי ולא רק גלובלי.
- 667הורדות בחודש
- 20לייקים
מה זה
הנתונים כוללים תמונות שנאספו מהרשת לצד שאלות ותשובות באנגלית ובשפת היעד. כל רשומה כוללת את קובץ התמונה עצמו, מזהה ייחודי, שיוך לאחת מתוך 19 קטגוריות תוכן, קישור מקור לתמונה וסוג השאלה מתוך ארבעה סגנונות: שאלות נכון או לא נכון, רב ברירה, ותשובות פתוחות קצרות או ארוכות. הטקסטים מקיפים 13 היבטים תרבותיים שונים, החל ממסורות ומנהגים ועד אישים מוכרים ואירועים חגיגיים.
השאלות והתשובות עברו תרגום או הפקה באמצעות כלים אוטומטיים ואז עברו אימות ידני על ידי דוברים ילידיים של השפות. התוכן מכסה 24 מערכות כתב שונות, כשהמטרה היא לתת ייצוג גם לשפות דלות משאבים ותרבויות שאינן מערביות לצד תרבויות מערביות.
מתאים ל
- הערכת מודלי ראייה ושפה
בדיקת הדיוק של מודלים מול שאלות תמונה בשפות שונות ובהקשרים תרבותיים.
- מדידת הבנה רב תרבותית
השוואה בין ביצועי מודל על תרבויות מקומיות לעומת תרבות מערבית נפוצה.
- בחינת שפות דלות משאבים
בדיקה השוואתית של יכולות פענוח טקסט מול תמונה ב־24 מערכות כתב שונות.
איפה זה נופל
המגבלה המרכזית היא שהמאגר מוגדר כמבחן ביצועים בלבד ולכן הוא אינו מספק חלוקה לאימון. התמונות נאספו מהרשת ויכולות להשתנות או להכיל הטיות מקור, והשאלות עברו עיבוד ותרגום מכונה לפני הבקרה האנושית. בנוסף, הכרטיס אינו מפרט את רשימת מאה השפות המלאה, כך שלא ניתן לדעת מראש אם עברית נכללת בתוכו בלי לחקור את הנתונים ישירות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון הוא cc-by-nc-4.0, שאינו מתיר שימוש מסחרי מכל סוג. המאגר מתאים למחקר, הערכה אקדמית ובדיקות פנימיות בלבד.
האם המאגר כולל עברית?
המאגר כולל 100 שפות שונות ו־24 מערכות כתב, אך רשימת השפות המדויקת אינה מפורטת בדף הראשי. כדי לדעת אם עברית נכללת, יש לבדוק את הנתונים בפועל או לעיין במאמר המלא.
איך אספו את השאלות והתשובות?
השאלות נוצרו או תורגמו בעזרת כלים אוטומטיים כמו מודלי שפה, ולאחר מכן נבדקו ואומתו ידנית על ידי דוברים ילידיים של כל שפה. התמונות עצמן לוקטו ישירות ממקורות שונים ברשת.
האם יש חלוקה מובנית לסט אימון ובדיקה?
לא, המאגר פורסם כבנצ'מרק להערכה בלבד וכולל חלוקת test בלבד המחולקת למספר קובצי parquet. הוא לא נבנה כדאטהסט לאימון מודלים מאפס.
איך טוענים
המאגר מחולק לקובצי parquet תחת הפיצול של test, שכולל לפחות 26 קבצים מקושרים, מתוכם דוגמאות לקבצים מ־00000 ועד 00025. הגישה למאגר פתוחה ישירות דרך הספרייה ללא צורך בהרשאה מיוחדת. התמונות שמורות ישירות בתוך השדות בפורמט בינארי לצד שדות המטא־דאטה והקישורים, ולכן הטעינה צורכת משאבי עיבוד זיכרון בעת חילוץ התמונות מתוך הרשומות.
from datasets import load_dataset
ds = load_dataset("MBZUAI/ALM-Bench")הרישיון
הרישיון הוא cc-by-nc-4.0. המשמעות פשוטה: השימוש מותר למטרות מחקר ולימוד בלבד, תחת מתן קרדיט מלא ליוצרים ב־MBZUAI. נאסר כל שימוש מסחרי, מה שפוסל אימון מודלים למוצרים מסחריים או הטמעה ישירה במערכות עסקיות.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא