smol-worldcup

מה זה

המאגר כולל 125 שאלות שנבנו להערכת מודלים קטנים בעונה הראשונה של הפרויקט. המבנה מתחלק לשני צירים ראשיים. ציר הכנות מכיל 40 שאלות שבודקות התמודדות עם ישויות מומצאות, כיול ביטחון בתשובה, איזון בסירוב ותיקון שגיאות עצמי. ציר האינטליגנציה כולל 85 שאלות בתחומי היגיון, מתמטיקה, כתיבת קוד פייתון, סינתזת ידע ומטא קוגניציה.

חלק מהשאלות בציר האינטליגנציה מוקדש ליכולת רב לשונית בשבע שפות שונות, ביניהן קוריאנית, ערבית, פורטוגזית, טורקית, בנגלית ותאילנדית. החלוקה הפנימית מפרידה בין 30 שאלות עוגן קבועות לבין 95 שאלות מתחלפות. כל שאלה מנוסחת כדי לדרוש פלט במבנה נתונים מוגדר, כך שחלק ניכר מהבדיקות רץ באופן אוטומטי מלא ללא התערבות אנושית.

מתאים ל

• בדיקת הזיות במודל קצה

  הרצת 40 שאלות הכנות כדי לראות אם מודל קטן ממציא אנשים ומאמרים או מסרב נכון.

• השוואת ביצועי קוד והיגיון

  בחינת פונקציות פייתון ופתרון בעיות חשבון מול בדיקות הרצה אוטומטיות ללא שיפוט ידני.

• בנצ'מרק למכשירי קצה

  מדידת יכולת המודל להחזיר תשובות במבנה נתונים מוגדר תחת מגבלות זיכרון נמוכות.

איפה זה נופל

גודל המדגם זעיר ומכיל 125 שאלות בלבד, כך שלא מדובר בבסיס נתונים לאימון אלא במבחן ממוקד. עברית לא קיימת בבדיקות הרב לשוניות, ולכן המאגר לא יעזור להעריך ביצועים מקומיים בארץ. בנוסף, חמישים מהשאלות מסתמכות על מודל שפה כשופט חיצוני ולא על בדיקה אוטומטית מוחלטת. יש לקחת בחשבון שמודלים שפולטים תגיות חשיבה נוטים להיכשל בבדיקות האוטומטיות שדורשות מבנה נתונים קשיח.

איך טוענים

טוענים את הנתונים ישירות דרך הספרייה הרגילה של Hugging Face בלי צורך באישור גישה מוקדם. המאגר מכיל פחות מאלף רשומות, כך שהוא יורד בשניות ולא דורש משאבי אחסון מיוחדים. הרשומות מגיעות בתצורת אובייקטים עם שדות כמו מזהה השאלה, הציר הנבדק, קטגוריה, טקסט הפרומפט, מפתח התשובה ושיטת הבדיקה. כדאי לסנן מראש את השורות לפי שדה הציר או לפי שפת הבדיקה לפני שמריצים סבב הערכה.

from datasets import load_dataset

ds = load_dataset("ginigen-ai/smol-worldcup")

הרישיון

המאגר מופץ תחת רישיון אפאצ'י 2.0 המאפשר שימוש מסחרי, שינוי והפצה ללא תשלום תמלוגים. נדרש לשמור על הודעות זכויות היוצרים והרישיון המקורי. השימוש בו אינו מחייב שחרור קוד פתוח תחת אותו רישיון, ומודל שנבדק או נעזר בנתונים אלה אינו מוגבל בהפצה מסחרית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗