open-persian-llm-leaderboard

מה זה

במקום להריץ בדיקות בעצמכם, אתם מקבלים טבלת נתונים שמרכזת ביצועים של מודלים שונים בפרסית. הטבלה נטענת מתוך קובצי מידע ומחשבת ציונים ממוצעים בין מדדים שונים, לצד אפשרויות לסינון ומיון לפי עמודות ספציפיות.

מי שרוצה להוסיף מודל למאגר יכול להזין את פרטיו בטופס ייעודי. מזינים שם מודל, מזהה כמו PartAI/Dorna-Llama3-8B-Instruct, וכתובת מייל ליצירת קשר. המערכת נשענת על דוגמת מאגרי מידע של PartAI לצורך ההערכה, והקוד מסדר את כל הנתונים בטבלה אינטראקטיבית שמתעדכנת מול תוצאות המבחנים.

מתאים ל

• השוואת ביצועים בפרסית

  צפייה בציונים של מודלים שונים כדי להחליט איזה מודל שפה מתאים לפרויקט עיבוד טקסט בפרסית.

• הגשת מודל לבחינה

  שליחת מזהה מודל ופרטי קשר כדי שהמפתחים ימדדו אותו ויצרפו את התוצאות לטבלה.

• סינון מדדי הערכה

  מיון הטבלה לפי עמודות וציונים ממוצעים כדי לזהות מודלים מובילים במבחנים ספציפיים.

איפה זה נופל

זהו לוח תוצאות סטטי ולא ממשק שיחה. אתם לא יכולים לבדוק כאן איך המודלים מגיבים בפועל לטקסט חופשי, אלא רק לראות ציונים שהופקו מראש. בנוסף, ההתמקדות היא בשפה הפרסית על בסיס דאטהסט מסוים, כך שאין כאן שום אינדיקציה לגבי יכולות המודלים בעברית או במשימות אחרות שלא נכללו במבחן.

איך משתמשים

נכנסים לדפדפן וכל המידע מופיע מיד בטבלה הראשית, ללא צורך בהתחברות או בהרשמה. אפשר לעבור בין לשוניות כדי לקרוא את ההסברים או להגיש מודל. הלוח רץ על חומרת מעבד בסיסית, כך שהדפדוף והסינון עובדים בלי המתנה, אבל זה אומר שאין כאן הרצה חיה של המודל עצמו אלא רק הצגת נתוני מבחנים קיימים.

הרישיון

הקוד פתוח תחת רישיון apache-2.0 ומאפשר שימוש נרחב, כולל שינויים והתאמות מסחריות. פרטי המודלים וכתובות המייל שנשלחים בטופס מועברים לבדיקת המפרסמים לצורך עדכון הלוח.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗