allenai/ZebraLogic
רץ בדפדפןallenaiרישיון לא דווח2024-07-11
הכלי מציג לוח תוצאות ודוגמאות של חידות היגיון מסוג זברה שנפתרו על ידי מודלי שפה שונים. הוא מתאים לחוקרים שרוצים לבחון יכולות הסקה לוגית מורכבות במודלים פתוחים.
- —הורדות בחודש
- 95לייקים
מה זה
במקום להריץ מודלים בזמן אמת, הממשק מתמקד בניתוח תוצאות של מבחן ביצועים. בעמוד החקירה בוחרים מודל מרשימה, או משאירים על בחירה אקראית, ומגדירים את גודל החידה לפי מספר הבתים ומספר המאפיינים, מ־2 עד 6 לכל פרמטר.
לאחר הלחיצה מוצגת חידת הזברה שנדגמה מתוך המאגר, תהליך ההסקה של המודל, התשובה הסופית שהוא סיפק, הפתרון הנכון המלא והשוואה ביניהם. הדוגמאות מראות בדיוק איפה מודלים מצליחים לבנות שרשרת היגיון תקינה ואיפה הם טועים בהתאמות.
המאגרים שמאחורי המערכת הם ZebraLogicBench ו־ZebraLogic, והנתונים כוללים תוצאות של משפחות מודלים כמו Llama 2, Llama 3 ו־Qwen בגדלים שונים שבין 7 ל־72 מיליארד פרמטרים. בנוסף יש לשונית של לוח תוצאות מרכזי להשוואת ציונים כללית.
מתאים ל
- השוואת מודלים בלוגיקה
בדיקת לוח התוצאות כדי לראות איך דגמי Qwen ו־Llama שונים מתמודדים עם בעיות הסקה מורכבות.
- ניתוח כשלי הסקה
צפייה בשרשרת החשיבה ובפתרון השגוי של מודל מול הפתרון הנכון בחידות בגדלים שונים.
- שליפת חידות לבדיקה
דגימת חידות זברה בגדלים שונים מתוך המאגר כדי לבחון אותן עצמאית מול מערכות אחרות.
איפה זה נופל
זהו לוח תצוגה ולא ממשק הרצה חופשי. אי אפשר להקליד חידה משלכם ולקבל פתרון, אלא רק לעיין בדוגמאות מתוך המאגר הקיים. מי שמחפש לבדוק מודל פרטי יצטרך לקרוא את ההנחיות בלשונית ההערכה ולהריץ את הקוד בסביבה משלו.
שאלות
נפוצות
האם הכלי פתוח בחינם?
כן, הגישה לממשק בדפדפן פתוחה לגמרי ללא תשלום. אין צורך לפתוח חשבון או להזין מפתח גישה כדי לצפות בנתונים ובלוחות המובילים.
האם אפשר להעלות חידות אישיות לבדיקה?
לא, הממשק אינו מיועד לקלט חופשי של משתמשים. הוא מציג חידות ופתרונות שנשמרו מראש בתוך מאגרי הבדיקה של הפרויקט.
כמה זמן לוקח לקבל תוצאה?
השליפה מתבצעת תוך שניות בודדות. מאחר שהמערכת רק מציגה מידע קיים מתוך קובצי נתונים ולא מייצרת טקסט מחדש, העומס על השרת מינימלי.
במה הממשק שונה מהרצת המודלים עצמם?
כאן לא מפעילים את המודלים על גבי כרטיסים גרפיים בזמן אמת. הממשק משמש רק חלון ראווה לתוצאות שנאספו במהלך המחקר על סדרת מבחני ההיגיון.
איך משתמשים
השימוש מתבצע כולו בדפדפן בלי צורך בהרשמה או התחברות. נכנסים ללשונית החקירה, בוחרים מודל ומידות לחידה, ולוחצים על הכפתור לדגימת פאזל. התוצאה מופיעה כמעט מיד כי הממשק רץ על מעבד בסיסי ושולף דוגמאות מחושבות מראש מתוך הקבצים, במקום לחשב הסקה של 70 מיליארד פרמטרים ברקע.
הרישיון
הרישיון לא דווח במאגר. בהיעדר רישיון שימוש מוגדר, אין הרשאה ברורה להעתיק את הנתונים, להפיץ אותם מחדש או לשלב אותם בפרויקטים מסחריים מעבר לצפייה ועיון בממשק עצמו.