ParsBench/leaderboard

מה זה

בעמוד הראשי מוצגת טבלה שמדרגת מודלים שונים לפי מבחני ביצועים בפרסית. המבחנים כוללים סיכום טקסט מתוך pn_summary, הבנת הנקרא, היקש לוגי ותרגום בין אנגלית לפרסית מתוך parsinlu, לצד מבחן khayyam-challenge. הנתונים נטענים מקובצי תוצאות במבנה json שנשמרים במאגר נפרד ומומרים לטבלאות דרך ספריית gradio-leaderboard.

בלשונית ההגשה מזינים שם מודל מ־Hugging Face, מזהה גרסה ספציפי, סוג מודל, רמת דיוק של המשקולות, ופרטי מודל בסיס אם מדובר במשקולות אדפטר. המערכת מייצרת בקשת הערכה שנכנסת לתור עיבוד ומציגה את הסטטוס שלה בטבלאות מעקב.

מתאים ל

• השוואת מודלים בפרסית

  בדיקת ציונים של מודלי שפה שונים במשימות תרגום, סיכום והבנת הנקרא בפרסית.

• הגשת מודל למדידה

  שליחת מזהה מודל ציבורי כדי להכניס אותו לתור הבדיקה מול הדאטהסטים הקיימים.

• מעקב אחר סטטוס בדיקות

  צפייה בטבלאות המעקב כדי לראות אילו הערכות הסתיימו, רצות כעת או ממתינות בתור.

איפה זה נופל

זה לא ממשק שמריץ מודל או מאפשר לשוחח איתו. לא תראו כאן תשובות טקסטואליות חיות, אלא רק ציונים מספריים יבשים. בנוסף, כל המבחנים והדאטהסטים ממוקדים בשפה הפרסית, כך שאין ללוח הזה שום רלוונטיות לבדיקת מודלים בעברית או שפות אחרות.

איך משתמשים

לוחצים על הלשוניות כדי לדפדף בין הטבלה הכללית, מידע רקע, ותור הבדיקות. אם רוצים להגיש מודל, ממלאים את שדות הטקסט בלשונית ההגשה ולוחצים על Submit Eval. אין צורך בהרשמה מיוחדת מעבר לגישה לרשת. כרגע החומרה מוגדרת כ־cpu-basic והמצב מוגדר כ־SLEEPING, מה שאומר שהטעינה הראשונית תיקח זמן עד שהשרת יתעורר.

הרישיון

הקוד מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי והפצה, כולל לצרכים מסחריים, בכפוף לתנאי הרישיון. פרטי המודלים שאתם מגישים נרשמים לקובצי בקשות פומביים במאגר.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗