ZebraLogic
קוד פתוחWildEvalרישיון לא דווח2025-02-04
המאגר מרכז חידות היגיון מובנות לבדיקת גבולות ההסקה של מודלי שפה. הוא מיועד למי שרוצה לבחון יכולת פתרון בעיות לוגיות מורכבות ללא הסתמכות על ידע כללי.
- 2,170הורדות בחודש
- 17לייקים
מה זה
המאגר כולל מבחני הסקה לוגית שמבוססים על חידות זברה קלאסיות, שבהן המודל נדרש להסיק קשרים בין פריטים מתוך רמזים מוגדרים. המטרה המרכזית שלו היא לבחון את גבולות יכולת ההסקה של מודלים מבוססי שפה, כפי שהוגדר במאמר של החוקרים שפורסם בתחילת 2025.
הקבצים במאגר מחולקים לפי תצורות הערכה שונות. יש בו קובץ מבחן ראשי, לצד חלוקה מפורשת לקובץ של מצב רשת שבו המודל צריך למלא את כל הטבלה הלוגית, וקובץ של מצב בחירה מרובה שמציע שאלות סגורות על בסיס אותן חידות. כרטיס המאגר לא מפרט כיצד החידות נוצרו או סוננו מעבר להפניה למאמרים האקדמיים הנלווים.
מתאים ל
- הערכת מודלים במשימות היגיון
בדיקת יכולת המודל לפתור חידות לוגיות מרובות שלבים במצב בחירה מרובה.
- מדידת יכולת מילוי טבלאות
בחינת דיוק המודל בפתרון מלא של חידות רשת מורכבות במצב הייעודי.
- מחקר על גבולות ההסקה
בדיקה אמפירית של הקשר בין גודל המודל ליכולת פתרון בעיות לוגיות מורכבות.
איפה זה נופל
כרטיס המאגר לקוני מאוד ואינו מפרט נתונים בסיסיים כמו כמות השאלות, השפות הנתמכות או הטיות אפשריות בתוך הנתונים. סביר להניח שהחידות מנוסחות באנגלית בלבד, כך שלמי שמחפש הערכה בעברית אין מה לחפש כאן בלי עבודת תרגום והתאמה עצמאית. בנוסף, חסר פירוט מלא על אופן יצירת הדוגמאות, מה שמחייב קריאה של המאמר המקורי לפני שילוב שלו בבדיקות שלכם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
לא מומלץ כרגע. היוצרים לא הגדירו רישיון בכרטיס המאגר, ולכן אין אישור רשמי לשימוש מסחרי. ללא היתר מפורש מהחוקרים, השימוש מוגבל למחקר והערכה בלבד.
האם החידות כוללות תמיכה בעברית?
אין במאגר עברית. הנתונים מתבססים על מחקר אקדמי באנגלית, וכך גם החידות עצמן. אם תרצו לבדוק מודלים בעברית תצטרכו לתרגם את הנתונים בעצמכם.
מה ההבדל בין הקבצים השונים במאגר?
המאגר מציע שתי תצורות שונות לאותן חידות היגיון. קובץ אחד מיועד לבחירה מרובה מתוך תשובות סגורות, וקובץ אחר דורש מהמודל למלא את כל לוח הרשת של החידה.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית הדאטהסטים באמצעות המזהה WildEval/ZebraLogic. כל המידע שמור בקובצי פרקט קלים, כך שאין צורך בהורדות כבדות, תשתית מורכבת או אישור גישה מוקדם מהיוצרים. כדאי לשים לב לחלוקה בין הקבצים השונים במאגר כדי למשוך את הפורמט המתאים לבדיקה שלכם, בין אם מדובר במצב הרשת או במצב הבחירה המרובה.
from datasets import load_dataset
ds = load_dataset("WildEval/ZebraLogic")הרישיון
היוצרים לא ציינו רישיון שימוש במאגר. מבחינה משפטית, היעדר רישיון אומר שכל הזכויות שמורות ואין לכם היתר מפורש להשתמש בנתונים לפיתוח מסחרי, להפצה או לאימון מודלים שמיועדים למוצר. מותר להסתמך עליו בעיקר למחקר פנימי או לניסויים אישיים, וכל שימוש מעבר לזה דורש פנייה ישירה לחוקרים.