TurkBench

מה זה

בעמוד הראשי מוצגת טבלת דירוג שמציגה תוצאות של מודלי שפה שונים במשימות בדיקה בטורקית. מעבר לעיון בנתונים, אפשר להזין פרטי מודל כדי להכניס אותו לתור הבדיקה. הממשק מבקש מזהה מודל, גרסת קוד, רמת דיוק של משקולות כמו float16 או 4bit, וסוג המודל, כולל התייחסות למודלי בסיס עם מתאמים.

הקוד שמאחורי הממשק לא מריץ את החישובים והמבחנים הכבדים ישירות בדפדפן או בשרת התצוגה. הוא מושך קובצי תוצאות ותור בקשות ממאגרי נתונים ייעודיים, מעבד אותם לטבלה ומרענן את הנתונים ברקע. המערכת בודקת את תקינות ההגשה ורושמת בקשת הערכה חדשה בפורמט קובץ מובנה.

מתאים ל

• השוואת ביצועים בטורקית

  בדיקה מהירה של המודלים המובילים בשפה הטורקית לפי מדדי ביצוע קבועים מראש.

• הגשת מודל לתור בדיקה

  שליחת מזהה של מודל פתוח כדי לצרף אותו לרשימת ההערכה של הפרויקט.

• מעקב אחר תור ההערכות

  צפייה במודלים שממתינים לבדיקה ובירור הסטטוס שלהם במאגר ההגשות.

איפה זה נופל

אם אתם מחפשים מודל שמתמחה בעברית או באנגלית, המדד הזה כנראה לא רלוונטי עבורכם כי הוא מתמקד כולו בטורקית. בנוסף, הממשק כולו מוצג בטורקית, מה שמקשה על הניווט אם לא מכירים את השפה. הממשק עצמו רץ על חומרת מעבד בסיסית ורק מנהל את התצוגה והתור, כך שאי אפשר להריץ דרכו שאלות למודלים כדי לבדוק איך הם עונים בפועל. יש גם רשימת הרשאות בקוד שעלולה להגביל מי רשאי לאשר הגשות.

איך משתמשים

כדי להשתמש בטבלה רק פותחים את הקישור ומעיינים בדירוגים, ללא צורך בהרשמה. אם רוצים להגיש מודל חדש למבחן, הממשק מחייב התחברות לחשבון, והטופס נעול למשתמשים לא מחוברים. בטופס ממלאים את שם המודל, בוחרים דיוק וסוג משקולות, ולוחצים על כפתור השליחה. הבדיקה עצמה אינה מיידית, אלא נכנסת לתור עיבוד נפרד, כך שהתוצאות מופיעות בטבלה רק אחרי ריצת ההערכה החיצונית.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי בקוד, שינוי שלו והפצה. לגבי המודלים המוגשים והתוצאות שלהם, הנתונים הופכים לחלק ממאגר פומבי שמשמש להצגת לוח הדירוג הפתוח.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗