ThaiLLM-Leaderboard/leaderboard

מה זה

הדף מציג טבלאות ביצועים של מודלים שונים בחלוקה לפי קטגוריות מבחן. לא מריצים כאן טקסט חופשי ולא מקבלים פלט של צ'אט, אלא צופים בציונים קיימים או מגישים מודל חדש לבדיקה דרך ממשק ייעודי. הקלט להגשה דורש מזהה מודל מ־Hugging Face, גרסה, וסוג נתונים כמו float16 או שמונה ביט, והכלי מוסיף אותו לתור הערכה.

הטבלאות מסודרות לפי לשוניות שכוללות מבחני ידע ובחינות, משימות הבנת שפה, משימות יצירת שפה, והערכה מבוססת מודל שופט. המדידות נשענות על סטים מגוונים, בהם xcopa, xlsum, belebele, xnli, iapp_wiki_qa_squad, wisesight_sentiment, thai_exam ו־flores200, שבוחנים יכולות של תרגום, ניתוח סנטימנט, מענה לשאלות והבנה כללית בתאילנדית.

מתאים ל

• השוואת ביצועים בתאילנדית

  בדיקת ציונים של מודלי שפה שונים במשימות הבנה, תרגום ויצירת טקסט כדי לבחור מודל מתאים.

• הגשת מודל למדידה

  שליחת מודל חדש ממאגר Hugging Face להערכה על מבחנים כמו thai_exam ו־xnli.

• מעקב אחר סטטוס הערכה

  בדיקת מיקום המודל בתור המשימות וצפייה בתוצאות שהתקבלו מקבצי ה־JSON.

איפה זה נופל

הבעיה המיידית היא שהחלל נמצא במצב של שגיאת בנייה ולכן אי אפשר להשתמש בו ישירות כרגע. מעבר לזה, הממשק לא נותן לכם להתנסות במודלים בעצמכם או לבדוק פרומפטים, אלא רק מציג מספרים וטבלאות השוואה.

הציונים רלוונטיים רק למשימות בתאילנדית ולא מלמדים דבר על ביצועי המודלים בעברית או במשימות יומיומיות אחרות. מי שמחפש ממשק שיחה או דרך לבדוק מודל משלו על טקסט ישראלי יגלה שהלוח הזה פשוט לא נבנה עבור זה.

איך משתמשים

בפועל אתם ניגשים לדף ובוחרים בלשונית שמעניינת אתכם כדי לצפות בטבלאות המודלים, או עוברים לדף ההגשה כדי להזין פרטי מודל מהמאגר. אין פה כפתור שמייצר תשובה מיידית, אלא טעינה של נתונים מקבצי תוצאות ותור משימות שמתעדכן ברקע. כרגע לא תצליחו להפעיל כלום בדפדפן כי הפרויקט תקוע במצב שגיאת בנייה.

המערכת יושבת על מעבד בסיסי, מה שמספיק להצגת טבלאות ודפי מידע אבל לא להרצת מודלי שפה כבדים בזמן אמת. תהליך ההערכה עצמו מתנהל בתור נפרד דרך סקריפטים שמורידים את הנתונים, ולכן בדיקת מודל חדש תלויה בזמינות התור ולא מתבצעת במקום.

הרישיון

הקוד מפורסם תחת רישיון apache-2.0 ומאפשר שימוש, שינוי והפצה באופן פתוח. לגבי התוכן שמועלה, שמות המודלים ונתוני הבדיקות נשמרים כחלק מהמאגרים הציבוריים של הפרויקט.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗