open-japanese-llm-leaderboard

מה זה

מזינים שם מודל, גרסת קומיט, סוג מודל, רמת דיוק והגדרות טוקנים, ומקבלים מקום בתור הערכה ובטבלה. התצוגה המרכזית נותנת טבלת נתונים גדולה עם אפשרויות סינון לפי גודל מודל, דיוק, שימוש ב־vLLM, גרסה ומספר דוגמאות בבדיקה.

מתחת לטבלה מופיעים גרפים של גודל המודל מול הציון וגרף ביצועים לפי קטגוריות משימה. הקוד טוען נתונים ממאגרי תוצאות ובקשות של הפרויקט, ומציג טבלאות נפרדות למודלים בהמתנה, מודלים שרצים כרגע, מודלים שסיימו ומודלים שנכשלו.

הממשק תומך ביפנית ובאנגלית ומתבסס על ספריית Gradio ו־Plotly להצגת התרשימים. הטבלה מושכת את המידע ישירות מקובצי הדאטהסט של הארגון בלי להריץ את המודלים עצמם בתוך הדפדפן.

מתאים ל

• השוואת ביצועים ביפנית

  בדיקת ציונים של מודלי שפה שונים לפי קטגוריות משימה וגודל מודל בטבלה ובגרפים.

• סינון לפי מאפייני הרצה

  איתור מודלים שרצים עם vLLM, בדיקת רמות דיוק ומספר דוגמאות שנבדקו.

• הגשת מודל לבדיקה

  שליחת מודל חדש ומזהה קומיט לתור ההערכה כדי שייכנס לטבלת התוצאות.

איפה זה נופל

הבעיה המרכזית כרגע היא שהעמוד במצב שגיאת ריצה, ולכן אי אפשר להשתמש בו ישירות בדפדפן עד שיתוקן. בנוסף, מדובר בלוח תוצאות בלבד, כך שלא תמצאו כאן אזור לשיחה עם המודלים או בדיקת טקסט חופשי. הנתונים מתמקדים אך ורק ביפנית, ואין כאן אינדיקציה לביצועים בשפות אחרות או בעברית.

איך משתמשים

בוחרים שפה, מסמנים מסננים של עמודות או סוגי מודלים בטבלה, ומעיינים בתוצאות. מי שרוצה להגיש מודל עובר לחלק ההגשה, ממלא את פרטי המאגר ולוחץ על כפתור השליחה. העיבוד מתבצע בצד השרת דרך תור משימות, והממשק עצמו יושב על מעבד בסיסי, כך שפעולות הסינון והצגת הגרפים קלות, אבל כרגע העמוד מדווח על שגיאת ריצה ואינו פעיל.

הרישיון

הקוד מפורסם תחת רישיון apache-2.0 שמאפשר שימוש, שינוי והפצה באופן חופשי. פרטי המודלים שאתם מגישים לבדיקה נכנסים למאגרי בקשות ותוצאות פומביים של הפרויקט, ולכן אין לשלוח פרטים על מודלים פרטיים שאינם פתוחים לציבור.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗