arenahardlb

מה זה

בעמוד הראשי מוצגת טבלה שמדרגת מודלים שונים על בסיס נתוני הרצה שנשמרו מראש. אפשר לסנן עמודות ולבדוק ציונים של מודלים לפי משקלים, סוג המודל ורמת הדיוק שלו. הנתונים עצמם מגיעים ממאגר נתונים מקושר של תוצאות ובקשות הערכה.

בלשונית ההגשה מזינים את שם המודל, מזהה הגרסה, סוג המשקולות, רמת הדיוק ושם הארגון, ומעלים קובץ תשובות למבחן Arena Hard בפורמט json או jsonl. הממשק קורא את התוצאות, בודק את תקינות הבקשה ומכניס את המודל לתור ההערכה.

מתאים ל

• השוואת מודלים ברוסית

  צפייה בטבלת הציונים כדי לבחור מודל שפה מוביל למשימות שדורשות הבנה והפקה של רוסית.

• הגשת תוצאות מבחן

  העלאת קובץ תשובות של Arena Hard כדי לצרף מודל משלכם לדירוג הפומבי.

• בדיקת גרסאות מודל

  השוואת ביצועים בין רמות דיוק ומשקלים שונים של אותו מודל בתוך הטבלה.

איפה זה נופל

זהו לוח תוצאות בלבד ולא ממשק שיחה עם המודלים. אי אפשר לשוחח איתם, לקבל מהם טקסט או לנסות פרומפטים. אם אין לכם קובץ תוצאות מוכן מראש שהרצתם בעצמכם מול Arena Hard, לשונית ההגשה לא תועיל לכם. בנוסף, כל המבחן ממוקד בשפה הרוסית, כך שאין כאן מידע על ביצועים בעברית או משימות מקומיות.

איך משתמשים

כדי לעיין בטבלה פשוט נכנסים לעמוד ולוחצים על הטאב הראשון, שם כל המידע נטען מיד מתוך הדאטהסט. אם רוצים להגיש מודל, עוברים ללשונית ההגשה, מתחברים לחשבון Hugging Face דרך כפתור ההתחברות הייעודי, ממלאים את הפרטים, גוררים את קובץ התשובות ולוחצים על שליחה. היישום רץ על מעבד בסיסי, כך שטעינת הטבלאות הראשונית או אימות הקבצים יכולים לקחת כמה שניות, אבל לא מדובר בהרצה כבדה בדפדפן.

הרישיון

הקוד של היישום מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי ושינוי קוד. הקבצים והנתונים שתעלו להערכה נשמרים במאגרי המערכת לצורך הוספה ללוח התוצאות הציבורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗