ko-freshqa-leaderboard

מה זה

הממשק מציג טבלת דירוג, לשונית להורדת קובצי נתונים מסוג DEV ו־TEST, ולשונית להגשת תוצאות. מעלים קובץ CSV שמכיל עמודת תשובות של המודל שלכם שנבדק, מזינים את שם המגיש ופרטי הדגם, והמערכת ממזגת את הקובץ עם נתוני הייחוס כדי להריץ בדיקה אוטומטית.

ההערכה עצמה רצה בעזרת מודל Solar של חברת Upstage. המודל בוחן את התשובות בשני מדדים שונים, רגיל ומחמיר, ומחשב דיוק לפי חיתוכים כמו סוגי עובדות, שאלות פשוטות לעומת רב שלביות, תוקף הנחות ושנת המידע. התוצאות הסופיות נשמרות ומוצגות בטבלה הציבורית.

מתאים ל

• הורדת ערכות מבחן

  מורידים קובצי CSV מוכנים של DEV ו־TEST כדי לייצר תשובות במודל שפה מקומי בקוריאנית.

• הגשת תשובות לדירוג

  מעלים קובץ עם תוצאות המודל כדי לחשב דיוק ולקבל ציון רשמי בלוח התוצאות.

• בדיקת ביצועים השוואתית

  בוחנים את הציונים של מודלים אחרים בטבלה הציבורית לפי קטגוריות תוכן ושנים שונות.

איפה זה נופל

הכלי מיועד אך ורק לקוריאנית ולמבנה הנתונים הספציפי של Ko-FreshQA, כך שאין לו שום שימוש לבדיקת טקסטים בעברית. בנוסף, מי שמעריך את איכות התשובות שלכם הוא מודל שפה אחר ולא בדיקה אנושית, מה שאומר שהציון תלוי בהטיות ובטעויות השיפוט של המודל הבוחן.

איך משתמשים

בוחרים בלשונית ההגשה, מעלים את קובץ ה־CSV המלא, מקלידים שם מודל ולוחצים על כפתור ההערכה. המערכת מוגדרת להגביל משתמשים לשלוש הגשות ביום לפי שעון קוריאה. מכיוון שהאפליקציה פועלת על חומרת מעבד בסיסית ומסתמכת על קריאות API חיצוניות של מודל השפה, העיבוד של קובץ שלם לוקח זמן ולא קורה מיד.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמתיר שימוש, שינוי והפצה לקוד. המידע והקבצים שתעלו ישמשו לחישוב מדדים ויוצגו בפומבי בטבלת הדירוג של המאגר.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗