open-ko-llm-leaderboard

מה זה

אין כאן תיבת טקסט שכותבים בה פרומפט ומקבלים תשובה. אתם נכנסים כדי לראות טבלה מסודרת שמשווה בין מודלים שונים, כמו midm-bitext-S-7B-inst-v2, לפי מבחני ביצועים בקוריאנית. המסך כולל שורת חיפוש וסינונים לפי סוג המודל, גודל המשקלים ורמת הדיוק שלהם.

מאחורי הקלעים הקוד מושך קובצי תוצאות ובקשות ממאגרי נתונים ייעודיים של הפרויקט, ומציג אותם בטבלאות נתונים של פנדס. יש לשונית מידע שמפרטת על המבחנים, ולשונית מעקב שמציגה אילו הערכות הסתיימו, אילו רצות כרגע ומה ממתין בתור.

מתאים ל

• השוואת ביצועים בקוריאנית

  בדיקת ציונים של מודלים שונים כדי לבחור ארכיטקטורה מתאימה למשימות בקוריאנית.

• מעקב אחרי מודלים

  חיפוש וסינון מודלים לפי גודל, סוג ודיוק כדי לראות מה נבדק בעבר.

• למידה על מבנה הערכה

  עיון בקוד כדי לראות איך בונים לוח תוצאות מבוסס נתונים פתוחים בממשק פשוט.

איפה זה נופל

הבעיה המרכזית היא שהעמוד מדווח על שגיאת ריצה ולא עולה בכלל בדפדפן. בנוסף, לא מדובר בכלי שמייצר טקסט או מאפשר לבדוק את המודלים בפועל, אלא רק בטבלת ציונים היסטורית.

התוכן כולו ממוקד אך ורק בשפה הקוריאנית, כך שהוא לא רלוונטי לבדיקת עברית או אנגלית. מכיוון שההגשות נסגרו, לא תוכלו להזין מודל משלכם כדי לקבל הערכה.

איך משתמשים

גולשים לעמוד, ולוח התוצאות נטען ישירות מולכם בלי צורך ברישום או התחברות כדי לצפות בטבלאות. אפשר לסמן תיבות כדי לסנן עמודות, לחפש מודל ספציפי או להציג מודלים שסומנו בעבר.

טופס הגשת המודלים סגור כעת, והכפתור מושבת עם הודעה שלא מתקבלות הגשות חדשות. למרות שהפרויקט רץ על שרת ששודרג עם מעבד חזק יותר, כרגע הוא נמצא במצב שגיאת ריצה, כך שאי אפשר לגשת לממשק עד שהמפתחים יתקנו אותו.

הרישיון

הפרויקט מפורסם ברישיון apache-2.0, שמאפשר שימוש חופשי בקוד, כולל שינוי והפצה למטרות מסחריות ופרטיות. נתוני הבדיקות והבקשות מאוחסנים במאגרים נפרדים ברשת.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗