open_cot_leaderboard

מה זה

המסך מציג טבלת דירוג של מודלים פתוחים שנבדקו על יכולות הסבר והיסק שלב אחר שלב. הנתונים כוללים שמות כמו דגמי Yi ודגם Matter, עם אפשרות לסנן תוצאות לפי גודל, דיוק וסוג המודל, או לחפש מודל מסוים לפי שם.

מתחת לממשק לא רצה הסקת מסקנות חיה אלא מנגנון שמושך מאגרי תוצאות ובקשות בדיקה מוכנים מראש. בצד ההזנה אפשר לשלוח מודלים חדשים למבחן, כשמזינים את שם המאגר, גרסת הקומיט, סוג המודל וסוג המשקלים לקראת הרצה בתור.

מתאים ל

• בחירת מודל פתוח

  השוואת ביצועי חשיבה מנומקת בין מודלים ממשפחת Yi ומודלים פתוחים נוספים.

• הגשת מודל לבדיקה

  שליחת מודל חדש ומאפייניו למערך המדידה כדי לצרף אותו לתור ההערכה.

• מעקב אחר תור הרצות

  בדיקת סטטוס של מודלים שנמצאים בתהליך בדיקה, הסתיימו או ממתינים.

איפה זה נופל

זהו לוח השוואה בלבד ולא ממשק שיחה. אי אפשר להקליד בו פרומפטים, לשאול שאלות או לבחון בעצמכם איך מודל מסוים עונה בעברית.

הבדיקות לא מתבצעות במכשיר שלכם, ואתם תלויים לחלוטין במתודולוגיה ובנתונים שהעלו מפעילי הדף לחישוב מדדי החשיבה.

איך משתמשים

נכנסים לעמוד ולוחצים ישירות על לשונית הטבלה כדי לעיין בנתונים ולסנן עמודות, בלי שום צורך בהתחברות או הרשמה. הממשק מבוסס מעבד רגיל משודרג, והוא טוען טבלאות נתונים בלבד כך שהתגובה בדפדפן מיידית.

אם רוצים להגיש מודל חדש לבדיקה, עוברים ללשונית ההגשה, ממלאים את פרטי המודל ולוחצים על כפתור השליחה. הבקשה נכנסת לתור עיבוד שמוצג בעמוד, כך שהתוצאה לא מופיעה במקום.

הרישיון

הקוד מפורסם תחת רישיון apache-2.0, שמתיר שימוש, שינוי והפצה כולל שימוש מסחרי. פרטי המודלים שאתם מגישים לבדיקה נרשמים במאגר ציבורי שפתוח לעיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗