Open-Arabic-LLM-Leaderboard

מה זה

הממשק מציג טבלת דירוג של מודלי שפה בערבית ומאפשר לראות ציונים במבחני ביצוע שונים. אתם יכולים לחפש מודל לפי שם, לסנן לפי גודל פרמטרים, סוג רישיון, דיוק וסוג המודל. הנתונים עצמם נמשכים ממאגרי תוצאות ייעודיים ברקע.

בלשונית ההגשה מזינים שם מודל מתוך Hugging Face, גרסה, סוג משקולות ותבנית שיחה. המערכת בודקת את כרטיס המודל, הטוקנייזר והקונפיגורציה, ומכניסה אותו לרשימת המתנה. הבדיקה עצמה מריצה מבחני ביצוע ייעודיים לערבית יחד עם גרסה מתורגמת של MMLU באמצעות כלי lighteval.

מתאים ל

• בחירת מודל לערבית

  סינון מודלים לפי ביצועים במבחני שפה, דיוק ורישיון כדי לבחור בסיס לפיתוח.

• הגשת מודל להערכה

  שליחת מזהה מודל ציבורי לבדיקה אוטומטית מול מבחני ביצוע ייעודיים בערבית.

• מעקב אחרי ריצות

  בדיקת סטטוס של מודלים שהוגשו דרך רשימות ההמתנה, הריצה והכישלונות.

איפה זה נופל

זה לא ממשק צ'אט ולא מקום להתנסות בשיחה עם המודלים עצמם. אתם מקבלים ציונים יבשים בלבד, בלי לראות את התשובות שהמודל החזיר בפועל. בנוסף, חלק מההערכה מתבסס על תרגום של MMLU ולא רק על מבחנים שנכתבו במקור בערבית, כך שכדאי לבדוק את התאמת המבחנים למשימה שלכם לפני שבוחרים מודל לפרויקט.

איך משתמשים

טעינת הטבלה מיידית כי היא רצה על חומרת מעבד משודרגת ומציגה נתונים שכבר חושבו מראש. אם אתם רק משווים מודלים, פשוט מסמנים מסננים ומחפשים. אם אתם מגישים מודל חדש להערכה, לוחצים על כפתור ההגשה. הבדיקה לא מתבצעת במקום אלא נכנסת לתור הערכות, ואפשר לראות בטבלאות נפרדות מה ממתין, מה רץ ומה נכשל.

הרישיון

הקוד של היישום מופץ ברישיון apache-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי ושינוי קוד. הגשת מודל להערכה דורשת שהמודל וכרטיס המודל שלו יהיו זמינים ציבורית ב־Hugging Face, והתוצאות נשמרות בדאטהסטים פתוחים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗