OpenLLMFrenchLeaderboard

מה זה

המסך מציג טבלת דירוג של מודלים שנבחנו במשימות שונות בשפה הצרפתית. אפשר לחפש בה מודלים ספציפיים, לסנן תוצאות לפי סוג המודל, רמת הדיוק וגודל המשקלים, ולבחור אילו עמודות להציג. בנוסף, קיים טופס הגשה שבו מזינים שם של מודל ממאגר Hugging Face, מזהה גרסה ספציפי, סוג משקלים ומודל בסיס אם יש צורך.

מאחורי הקלעים הקוד שואב נתונים ממאגר הבקשות le-leadboard/requests ומאגר תוצאות נוסף, טוען אותם לטבלאות נתונים ומציג את התור. מודל ספציפי שמוגדר במערכת הוא Claire-7B-FR-Instruct-0.1 של OpenLLM-France. הטבלאות בממשק מחולקות למודלים שבבדיקה, כאלה שממתינים וכאלה שהבדיקה שלהם הסתיימה, כולל קובצי הגדרה בפורמט JSON שמפרטים את המדדים לכל משימה.

מתאים ל

• השוואת ביצועים בצרפתית

  בדיקת ציונים של מודלים שונים כדי לבחור מודל מתאים לפרויקטים בצרפתית.

• הגשת מודל למדידה

  שליחת מודל עצמאי ממאגר Hugging Face לבדיקה במבחנים המוגדרים.

• מעקב אחר תור בדיקות

  צפייה במודלים שנמצאים כרגע בתהליך הערכה, ממתינים בתור או הסתיימו.

איפה זה נופל

הבעיה המרכזית כרגע היא שהכלי נמצא בסטטוס שגיאת בנייה ולכן אינו פעיל ברשת. מעבר לזה, הממשק אינו מריץ שיחה ישירה עם מודלים ולא בודק טקסטים חופשיים, אלא רק מציג ציונים של משימות שנבדקו מראש. המבחנים ממוקדים בצרפתית, כך שהתוצאות לא רלוונטיות לעברית או למשימות כלליות באנגלית בלי בדיקה נפרדת.

איך משתמשים

לוחצים על הטאבים כדי לעבור בין הטבלה, המידע וטופס ההגשה. כדי להגיש מודל מקלידים את שמו, בוחרים מאפיינים בתיבות הבחירה ולוחצים על כפתור השליחה. הבקשה נכנסת לרשימת המתנה ולא רצה מיד בדפדפן. הממשק מוגדר על חומרת cpu-basic בסיסית, אבל כרגע הוא במצב שגיאת בנייה BUILD_ERROR, כך שאי אפשר להריץ אותו ישירות עד שהקוד יתוקן.

הרישיון

הפרויקט מפורסם ברישיון apache-2.0, שמאפשר שימוש חופשי בקוד, שינוי שלו והפצה לצרכים אישיים ומסחריים. הגשת מודל לבדיקה יוצרת קובץ בקשה פומבי במאגר le-leadboard/requests, כך שפרטי המודל שתזינו הופכים לגלויים לכלל.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗