Arabic-LLM-Leaderboard

מה זה

בעמוד הזה אתם לא מריצים פרומפטים ישירות מול מודל ולא מקבלים טקסט חדש. מדובר בלוח נתונים שמציג תוצאות מוכנות מראש על בסיס מאגר הבחינה silma-ai/arabic-broad-benchmark. בוחרים לשונית ומקבלים טבלאות דירוג, השוואות לפי גודל מודל, פילוח לפי מיומנויות ספציפיות וגרפים להשוואה ישירה בין מודלים.

בלשונית הניתוח המעמיק בוחרים מודל מתוך רשימה נפתחת. הממשק מציג עבורו ציון משוקלל בין אפס לעשר, דירוג כללי, מהירות במילים לשנייה, ציון זיהוי הדלפה של נתוני אימון, וגרף עמודות של יכולות. יש שם גם אפשרות לצפות בקובץ תשובות לדוגמה של המודל ולהוריד אותו ישירות.

מתאים ל

• בחירת מודל לערבית

  סינון הטבלאות לפי ציונים כדי למצוא את המודל המוביל כרגע בערבית לפי קטגוריית גודל רצויה.

• השוואת יכולות ספציפיות

  בדיקת ביצועים במיומנות מסוימת בלשונית הייעודית כדי לראות איזה מודל חזק בתחום הדרוש לכם.

• בדיקת מהירות ואמינות

  צפייה בנתוני מהירות הפלט ובמדד זיהוי ההדלפה של נתוני אימון עבור מודל ספציפי לפני הטמעה.

איפה זה נופל

הכלי לא מריץ מודלים בזמן אמת ולא מאפשר לבדוק טקסט חופשי משלכם. הציונים נשענים על סט בדיקות מסוים מאוד ואינם מעידים בהכרח על איכות התוצר בעבודה יומיומית מורכבת. בנוסף, לא ניתן לבצע בדיקה למודל פרטי דרך הממשק, מאחר שהצוות חסם הגשות אוטומטיות ומעדכן את המאגר באופן ידני בלבד.

איך משתמשים

גולשים לעמוד ולוחצים על הלשוניות השונות כדי לסנן לפי גודל, יכולת או השוואה. אין צורך בהתחברות כדי לקרוא את הנתונים, והטבלאות והגרפים נטענים מיד בדפדפן כי מדובר בהצגת תוצאות קיימות. האפליקציה רצה על מעבד בסיסי, וזה מספיק לגמרי לטעינת טבלאות וגרפיקה של פלוטלי. לשונית ההגשה של מודלים חדשים מציגה טופס, אבל מופיעה בה הודעה שהמערכת סגורה להגשות אוטומטיות, כך שלא ניתן לשלוח מודל חדש לבדיקה ישירה מהאתר.

הרישיון

הקוד והנתונים של האפליקציה מפורסמים תחת רישיון apache-2.0. הרישיון מאפשר שימוש חופשי, שינוי והפצה, כולל לצרכים מסחריים. מאחר שאתם רק מעיינים בנתונים ולא מעלים קבצים לעיבוד, אין כאן שמירה של תוכן פרטי שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗