BLEnD
קוד פתוחnayeon212cc-by-sa-4.02024-06-11
מאגר מבחן עם 52.6 אלף שאלות ותשובות שבודק אם מודלים מבינים מנהגים מקומיים ותרבות יומיומית. החומר נאסף ידנית מתושבים ב־16 אזורים כדי לעקוף את ההטיה של ויקיפדיה.
- 2,116הורדות בחודש
- 16לייקים
מה זה
המאגר כולל 52.6 אלף זוגות של שאלות ותשובות שנאספו ידנית מ־16 מדינות ואזורים שונים, ב־13 שפות. הרעיון כאן הוא לבדוק ידע יומיומי שלא תמיד כתוב באתרי אינטרנט או בוויקיפדיה, כמו מאכלים נפוצים בקפיטריה של בית ספר, תבלינים שמשתמשים בהם בבית, כלי נגינה מקובלים או מנהגי ימי הולדת. המידע מחולק לפי קודי מדינות ומכסה שפות נפוצות כמו אנגלית, ספרדית, קוריאנית וערבית, לצד שפות מעוטרות משאבים כמו אמהרית, סונדנזית, אסאמית, האוסה ואזרית.
המבנה של הרשומות מחולק לשני פורמטים עיקריים שנועדו לבחינה, שאלות פתוחות עם תשובות קצרות ושאלות רב ברירה. בקבצי השאלות הקצרות, כל רשומה מציגה מזהה שאלה, את השאלה עצמה בשפה המקומית ובתרגום לאנגלית, וכן מערך של תשובות אנושיות מקומיות ותרגומן, כולל מספר המשיבים שבחרו בכל תשובה ושדות לסימון מקרים שבהם השאלה אינה רלוונטית או שאין עליה מענה. בנוסף קיימת חלוקה לנושאים ושפת מקור בפורמט טבלאי.
מתאים ל
- הערכת רגישות תרבותית
בדיקת יכולת המודל לענות נכון על שאלות יומיום מקומיות שאינן מתועדות היטב ברשת.
- מבחן ביצועים רב לשוני
השוואת הבנת שאלות בשפות נפוצות לעומת שפות מקומיות ודלות משאבים.
- בחינת שאלות רב ברירה
הרצת בדיקות השוואתיות מהירות בין מודלים שונים בעזרת פורמט הבחירה המובנה.
איפה זה נופל
הנתונים מכסים רק 16 אזורים גיאוגרפיים ספציפיים, ועברית או תרבות ישראלית אינן נכללות במאגר. לפי יוצרי המבחן, מודלים סובלים מפערי ביצועים משמעותיים של עד 57.34 אחוזים לטובת תרבויות עם נוכחות רשת כבדה. בשפות דלות משאבים המודלים מציגים תוצאות טובות יותר באנגלית מאשר בשפה המקומית, מה שמעיד על פערי תרגום והבנה. בנוסף המאגר עבר תיקוני שגיאות תרגום ועדכוני קבצים בסוף 2024 ותחילת 2025, כך שחובה לוודא שמשתמשים בגרסה המעודכנת.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון מאפשר שימוש מסחרי, אך כולל דרישת שיתוף זהה. המשמעות היא שכל מאגר נגזר או תוצר שמשתלב בו ישירות חייב להיפתח ברישיון זהה. בגלל הדרישה הזו, רוב הצוותים משתמשים בו רק כמבחן ביצועים ולא לאימון ישיר.
האם הדאטהסט כולל שאלות בעברית או על ישראל?
לא. המאגר כולל 13 שפות מוגדרות מראש, כולל ערבית, אנגלית ופרסית, אך אין בו שאלות בעברית. הוא מתמקד ב־16 מדינות ואזורים נבחרים בלבד, כמו אלג'יריה, יוון, קוריאה ואחרים.
איך נאספו התשובות והאם המידע אמין?
השאלות והתשובות נאספו ונכתבו ידנית על ידי בני אדם מאותם אזורים, ולא הועתקו מוויקיפדיה. כל רשומה כוללת את התשובות המקוריות ואת מספר האנשים שאישרו אותן, מה שנותן מדד מוסכם על הרגלי היומיום.
מה ההבדל בינו לבין מאגרי שאלות ותשובות רגילים?
רוב המאגרים מתבססים על אנציקלופדיות מקוונות ועובדות היסטוריות כלליות. המאגר הזה נבנה ספציפית כדי לבדוק ידע לא מתועד על תרבות חיי היומיום, הרגלי אכילה ומנהגים מקומיים.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות פקודת load_dataset עם המזהה nayeon212/BLEnD ושם החלוקה המבוקש. אפשר לבחור בפורמט short-answer-questions לפיצול לפי קוד המדינה הרלוונטי, או לגשת ישירות לחלוקת multiple-choice-questions. הכרטיס מציין דרישה לגרסאות datasets 2.19.2 ו־pandas 2.1.4, ומזכיר צורך בהתחברות לחשבון דרך ממשק הפקודה של המערכת כדי לקבל גישה לחומרים. השדות החשובים לעיבוד הם קוד המזהה, השאלות בשפה המקורית ובאנגלית, ומערך התשובות והספירות.
from datasets import load_dataset
ds = load_dataset("nayeon212/BLEnD")הרישיון
המאגר מופץ תחת רישיון cc-by-sa-4.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה, אך מחייב מתן קרדיט מלא ליוצרים ושיתוף של כל עבודה נגזרת תחת אותו הרישיון בדיוק. אם תאמנו מודל ישירות על הנתונים הללו, סעיף השיתוף הזהה עשוי לחייב אתכם לשחרר את משקולות המודל תחת רישיון פתוח תואם, ולכן עדיף להגביל את השימוש בו להערכה ומבחני ביצועים בלבד.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון