include-lite-44

מה זה

המאגר מכיל שאלות ברירה מרובה קצרות שמחולקות לפי קונפיגורציה ייעודית לכל שפה. כל רשומה כוללת את גוף השאלה, רשימת תשובות אפשריות כמחרוזות, אינדקס מספרי של התשובה הנכונה, וסיווגים מפורטים כמו שפה, מדינה, תחום ידע, נושא ספציפי, מאפיין אזורי ורמת קושי.

מקור הנתונים ואופן הסינון המדויק אינם מפורטים בתיעוד שסופק. מהמבנה עולה חלוקה ממוקדת לבדיקה בלבד, כאשר כל שפה מקבלת קובץ בדיקה יחיד שמכיל בדרך כלל סביב 250 שאלות, למעט מקרים חריגים כמו אסטונית עם 183 שאלות או גרמנית עם 89 שאלות בלבד.

מתאים ל

• הערכת מודלים בעברית

  בדיקת ביצועים של מודלי שפה על 250 שאלות ידע רב ברירה מקומיות.

• השוואת ביצועים בין שפות

  מדידת הפער ביכולת המענה של מודל בין שפות חזקות לשפות בעלות פחות משאבים.

• בדיקות אינטגרציה קלות

  הרצת בדיקות שפיות מהירות למערכות ניתוב שפה בזכות משקל קבצים אפסי.

איפה זה נופל

זה לא מאגר לאימון. יש בו רק ספליט של בדיקה ופחות מעשרת אלפים דוגמאות בסך הכל בכל השפות יחד. גודל המדגם בכל שפה, 250 שאלות בעברית למשל, קטן מדי מכדי לתת הערכה סטטיסטית יציבה לביצועי מודל, והוא יכול לשמש בעיקר לבדיקת שפיות מהירה. בנוסף, חלוקת השאלות אינה אחידה בין השפות, כפי שניכר בגרמנית שמכילה 89 שאלות בלבד, והכרטיס אינו מספק מידע על תאריכי איסוף התוכן או הטיות תרבותיות.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית הנתונים של Hugging Face תוך ציון שם השפה הרצויה כקונפיגורציה, למשל Hebrew. המאגר פתוח לציבור, אין צורך בבקשת גישה או במפתחות מיוחדים. כל קובץ שוקל עשרות קילובייטים בודדים בפורמט Parquet, כך שההורדה והטעינה לזיכרון מתבצעות תוך שניות בודדות. השדות שמעניינים אתכם להרצה הם question, choices והתשובה הנכונה בשדה answer.

from datasets import load_dataset

ds = load_dataset("CohereLabs/include-lite-44")

הרישיון

המאגר מופץ תחת רישיון Apache 2.0 המאפשר שימוש מסחרי מלא, שינוי והפצה של הנתונים. הרישיון דורש מתן קרדיט ושמירה על הודעת הרישיון המקורית. אימון מודל או הערכה באמצעותו אינם מחייבים אתכם לחשוף את קוד המקור או לפתוח את המודל שלכם לציבור.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗