CulturalBench
קוד פתוחkellycyycc-by-4.02024-10-14
המאגר בוחן ידע תרבותי של מודלי שפה על פני 45 אזורים בעולם. הוא מתאים למי שרוצה לבדוק אם המודל מבין הקשר מקומי מעבר להטיות המערביות הרגילות.
- 1,147הורדות בחודש
- 15לייקים
מה זה
המאגר כולל 1,227 שאלות שנכתבו ואומתו על ידי בני אדם. המטרה היא לבדוק ידע תרבותי אמיתי ולא עובדות ויקיפדיה יבשות, עם ייצוג למדינות שלרוב נדחקות הצידה כמו פרו, זימבבואה ובנגלדש.
התוכן מחולק לשתי גרסאות שמשתמשות באותן שאלות בדיוק. הגרסה הקלה מציגה שאלות אמריקאיות קלאסיות עם ארבע אפשרויות בחירה. הגרסה הקשה מפרקת כל שאלה לארבע קביעות של נכון או לא נכון, כך שנוצרות 4,908 הכרעות בינאריות, והציון מחושב לפי הצלחה בשאלה כולה.
החלוקה הגאוגרפית רחבה מאוד. מזרח אסיה מובילה עם 211 שאלות, דרום מזרח אסיה עם 159, ובאזור המזרח התיכון ומערב אסיה יש 127 שאלות שכוללות התייחסות לישראל, לבנון, איראן, סעודיה וטורקיה. צפון אמריקה ואוקיאניה מקבלות את הייצוג הנמוך ביותר עם פחות מ־30 שאלות לכל אזור.
מתאים ל
- הערכת עיוורון תרבותי
בדיקה מהירה של מודל קיים לפני שמשחררים אותו למשתמשים במדינות מחוץ לארצות הברית.
- מבחן עמידות בינארי
הרצת גרסת Hard כדי לראות אם המודל באמת מבין את התשובה או רק מנחש טוב במבחן אמריקאי.
- בנצ'מרק השוואתי למודלים
השוואת ביצועים מקבילה בין מודלי שפה מסחריים ופתוחים על פני אזורים גאוגרפיים שונים.
איפה זה נופל
זהו מאגר הערכה ולא דאטהסט לאימון. 1,227 שאלות זה מעט מדי לדאטהסט אימון, ושימוש בו לכוונון יהרוס את היכולת לבחון עליו. בנוסף, חלוקת השאלות אינה אחידה, כך שעל ישראל ומדינות ספציפיות יש כנראה רק כמה עשרות שאלות בודדות מתוך ה־127 של האזור כולו.
הכרטיס מציג את השאלות באנגלית, מה שאומר שנבדק ידע תרבותי בתיווך שפתי ולא ביצועים ישירים בעברית או בשפת המקור. מודלים מובילים מתרסקים בגרסה הקשה, כך שצריך לקחת בחשבון שציונים נמוכים הם ברירת המחדל כאן.
שאלות
נפוצות
האם המאגר מתאים לאימון מודל שפה?
לא. יש בו רק 1,227 שאלות מקוריות, שזה נפח זעיר שמיועד אך ורק להערכה ובדיקת ביצועים. אימון עליו יגרום להתאמת יתר מיידית ויבטל את היכולת להשתמש בו כמבחן אובייקטיבי.
האם יש במאגר שאלות בעברית?
לא, השאלות עצמן מנוסחות באנגלית. המאגר בודק ידע תרבותי על ישראל ועל המזרח התיכון, אבל הממשק והטקסט של המבחן הם באנגלית.
האם מותר להשתמש בו בפרויקט מסחרי?
כן, הרישיון הוא cc-by-4.0 שמתיר שימוש מסחרי חופשי. התנאי היחיד הוא מתן קרדיט ברור לחוקרים שיצרו אותו.
מה ההבדל בין שתי הגרסאות של הדאטהסט?
התוכן זהה לחלוטין אך המבנה שונה. בגרסה הקלה המודל בוחר תשובה אחת מתוך ארבע, ובגרסה הקשה הוא נדרש להכריע נכון או לא נכון על כל אחת מארבע האפשרויות בנפרד, מה שמקשה מאוד על ניחושים.
איך טוענים
הטעינה נעשית ישירות דרך ספריית datasets הרגילה של פייתון, ללא צורך באישור גישה או מפתחות. הנתונים שמורים בקובצי CSV פשוטים, CulturalBench-Easy ו־CulturalBench-Hard, כך שהמשקל זניח לחלוטין ויורד תוך שניות.
בקוד מגדירים את שם המאגר kellycyy/CulturalBench ובוחרים בקונפיגורציה הרצויה לפי רמת הקושי. המזהה המרכזי למעקב ולהערכת ביצועים הוא question_idx, שמאפשר להשוות את אותה שאלה בדיוק בין שני הפורמטים.
from datasets import load_dataset
ds = load_dataset("kellycyy/CulturalBench")הרישיון
הרישיון הוא cc-by-4.0. מותר להשתמש במאגר באופן מסחרי, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים, כל עוד נותנים קרדיט מתאים ליוצרים. מודל שנבדק או אומן על החומרים האלה אינו מחויב ברישיון פתוח.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס