NPHardEval-leaderboard
רץ בדפדפןNPHardEvalapache-2.02024-01-13
לוח תוצאות שמרכז ציונים והשוואות של מודלי שפה על משימות חישוביות מורכבות. הממשק מיועד לחוקרים ולמפתחים שבוחנים יכולות של מודלים שונים לפני בחירה באחד מהם.
- —הורדות בחודש
- 55לייקים
מה זה
העמוד מציג טבלת השוואה מוכנה מראש של מודלי שפה, המבוססת על נתונים שנמשכים ממאגר תוצאות ייעודי. אתם לא מריצים כאן חישובים בעצמכם ולא מקלידים פרומפטים, אלא מקבלים נתונים מספריים על ביצועי מודלים שנבדקו במבחנים שונים.
בתוך הממשק אפשר לחפש שמות של מודלים ספציפיים ולסנן את התוצאות לפי מאפיינים כמו דיוק המשקולות, סוג המודל וגודלו. בנוסף לטבלה הראשית, לשונית המדדים מציגה תרשים סטטי בשם weighted_accuracy_failed שממחיש את שיעורי הכישלון והדיוק המשוקלל במבחנים שנערכו.
מתאים ל
- השוואת ביצועי מודלים
בדיקת ציונים של מודלים שונים על מבחני חישוב מורכבים בטבלה מרוכזת.
- סינון לפי גודל ודיוק
איתור מודלים מתאימים לחומרה מוגבלת לפי דיוק משקולות ונפח פרמטרים.
- ניתוח שיעורי כישלון
צפייה בתרשים הביצועים הייעודי בלשונית המדדים להבנת כשלי מודלים.
איפה זה נופל
הממשק אינו מאפשר להריץ מודלים בזמן אמת, אלא רק מציג תוצאות שנמדדו מראש. לשונית הגשת המודלים החדשים להערכה מנוטרלת בקוד המקור, כך שאי אפשר להוסיף כרגע מודלים משלכם לבדיקה. בנוסף, הנתונים מתבססים על קובצי תוצאות ספציפיים בלבד, ללא גישה לקוד ההרצה המלא של כל בדיקה.
שאלות
נפוצות
האם השימוש בטבלה עולה כסף?
הצפייה והשימוש בטבלה חינמיים לחלוטין דרך הדפדפן. אין צורך בתשלום, במנוי או בהזנת פרטי אשראי. כל המידע פתוח לקריאה מיידית ללא דרישות מוקדמות.
האם אפשר להגיש מודל חדש לבדיקה דרך האתר?
כרגע לא ניתן להגיש מודלים ישירות מהממשק. החלק בקוד שאחראי על טופס ההגשה ותור ההערכות נמצא בהערה ולא פעיל בעמוד המוצג. אפשר רק לצפות בתוצאות של מודלים שכבר נבדקו ונכללים במאגר.
האם אפשר להריץ את לוח התוצאות באופן מקומי?
כן, הקוד כתוב בספריית gradio ומפורסם תחת רישיון פתוח. אפשר להוריד את הקבצים, להגדיר את משתני הסביבה המתאימים למאגרי הבקשות והתוצאות, ולהפעיל את הקובץ מקומית. התהליך דורש סביבת פייתון והתקנת התלויות הדרושות.
במה הדף שונה מהרצת המודלים עצמם?
הדף מציג אך ורק סיכום תוצאות של מבחנים שבוצעו בעבר על גבי דאטהסט ייעודי. אין פה גישה לממשק שיחה או אפשרות לשלוח שאלות למודלים המופיעים ברשימה. מדובר בלוח מחוונים סטטי להשוואה ולא בסביבת עבודה אינטראקטיבית.
איך משתמשים
נכנסים לדף והטבלה נטענת מיד. אפשר להקליד שם של מודל בתיבת החיפוש, לסמן תיבות סימון כדי להציג או להסתיר עמודות, ולסנן לפי סוג או גודל מודל. הכל רץ על שרת בסיסי עם מעבד רגיל, אבל מכיוון שמדובר רק בהצגת נתונים וסינון טבלאות קיימות, התגובה מיידית ואין צורך בהמתנה בתור או בהתחברות לחשבון.
הרישיון
הפרויקט מפורסם ברישיון apache 2.0, שמאפשר שימוש חופשי, שינוי והפצה, כולל לצרכים מסחריים, בכפוף לשמירה על תנאי הרישיון המקוריים. הממשק הנוכחי מציג נתונים קיימים בלבד ולא קולט תוכן חדש מהגולשים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים