OpenLLMTurkishLeaderboard
רץ בדפדפןmalhajarapache-2.02024-02-19
לוח תוצאות שמרכז ציוני מבחנים למודלי שפה בטורקית, כולל מודלים כמו Trendyol 7b. הוא מיועד למי שמפתח מודלים ומחפש להשוות ביצועים או להגיש מודל משלו לבדיקה.
- —הורדות בחודש
- 94לייקים
מה זה
בעמוד הראשי מוצגת טבלה גדולה שמציגה ציונים והשוואות בין מודלים שונים שנבחנו בטורקית. אפשר לחפש שמות של מודלים ספציפיים בעזרת שורת חיפוש, ולסנן את הנתונים לפי דיוק המשקלים, סוג המודל והגודל שלו.
מי שרוצה לבחון מודל משלו מזין את נתיב המודל מהמאגר, מזהה הגרסה שלו, דיוק המשקולות, ופרטי מודל הבסיס אם מדובר במתאם. האפליקציה שואבת נתונים מקבצי בקשות ותוצאות מוגדרים מראש, ומציגה בנוסף לשוניות שמפרטות את מצב התור של המודלים שנמצאים בהרצה, כאלה שממתינים, ומודלים שהבדיקה שלהם כבר הסתיימה.
מתאים ל
- השוואת מודלים בטורקית
סינון הטבלה לפי גודל ודיוק כדי לבחור מודל מתאים לפרויקט עיבוד שפה בטורקית.
- הגשת מודל למבחן ביצועים
שליחת נתיב של מודל קיים מהמאגר כדי להכניס אותו לתור הבדיקה ולקבל ציון רשמי.
- מעקב אחרי תור הבדיקות
צפייה בסטטוס של מודלים שהוגשו, כדי לדעת אם ההערכה שלהם ממתינה, רצה או הסתיימה.
איפה זה נופל
זה לא כלי שמריצים בו טקסטים או מקבלים ממנו שיחה עם בינה מלאכותית. מדובר בלוח מעקב והשוואה בלבד, ללא שום חלון צ'אט או בדיקה אינטראקטיבית של המודל הנבחר.
התוצאות שמוצגות בטבלה מוגבלות למבחנים שהוגדרו עבור טורקית, כך שאין כאן שום מידע על יכולות המודלים בעברית או במשימות אחרות שלא נכללו במערכי הנתונים הספציפיים.
אותה משפחה
OpenLLMTurkishLeaderboard יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם אפשר להתכתב כאן ישירות עם המודל?
לא. זה לוח ציונים בלבד שמציג תוצאות של מבחנים שונים, ואין בו ממשק שיחה פעיל מול המודלים שמופיעים בטבלה.
האם השימוש בטבלה ובהגשת מודלים כרוך בתשלום?
לא, הממשק פתוח לשימוש חופשי בדפדפן. גם הגשת מודל לתור הבדיקות נעשית ללא עלות.
כמה זמן לוקח לקבל תוצאות למודל שהגשתי?
התוצאה אינה מיידית. המודל נכנס לתור בדיקות שמוצג בלשונית ההגשה, וזמן ההמתנה תלוי במספר המודלים שממתינים ובהרצה עצמה.
האם הנתונים שלי נשמרים באופן פרטי?
לא, פרטי המודל שמוגשים נרשמים בקובצי בקשות ציבוריים. כל מודל שנבדק מיועד להצגה גלויה בלוח התוצאות.
איך משתמשים
גלישה בטבלת הנתונים לא דורשת שום הזדהות, והסינון עובד מיידית בדפדפן. השרת פועל על חומרת מעבד משודרגת, שמספיקה לטעינת הטבלאות וניהול הרשימות בלי עומס מורגש.
אם מחליטים להגיש מודל חדש למבחן, ממלאים את השדות הייעודיים בלשונית ההגשה ולוחצים על כפתור השליחה. הבקשה נכנסת לתור עיבוד, כך שהציונים עצמם לא מחושבים באותו רגע מול העיניים אלא מתווספים למערכת בהמשך.
הרישיון
הקוד של לוח התוצאות מופץ תחת רישיון apache-2.0, שמתיר שימוש חופשי ושינוי של הקוד. פרטי המודלים שאתם מגישים לבדיקה נשלחים למאגר בקשות ציבורי ויוצגו בעמוד לכל מי שנכנס.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים