hebrew-llm-leaderboard/leaderboard

מה זה

המסך מציג טבלה של מודלים שנבחנו בעברית ומאפשר לסנן אותם לפי גודל, דיוק הנתונים וסוג המודל, לצד שורת חיפוש חופשי. אתם לא מריצים כאן טקסטים בזמן אמת ולא מקבלים תשובות לפרומפטים, אלא בוחנים מדדי השוואה שנאספו מראש מתוך ריצות קודמות.

מאחורי הקלעים נמצא כלי הבדיקה של Eleuther AI שרץ על גבי מאגרי נתונים ייעודיים, ביניהם המאגר HebArabNlpProject/HebrewSentiment לניתוח סנטימנט. במקור נבנה גם מנגנון הגשה שבו מזינים נתיב של מודל מתוך Hugging Face, גרסת קומיט, סוג משקלים ודיוק כדי להכניס אותו לתור הבדיקה, אבל הלשונית הזו מוגדרת כלא מוצגת בקוד.

מתאים ל

• בחירת מודל שפה לפרויקט

  השוואת ביצועים ודיוק בין מודלים שונים בעברית לפני שבוחרים מה להטמיע.

• סינון מודלים לפי משאבים

  בדיקה מהירה של גודל המודל וסוג הדיוק שלו כדי להתאים לחומרה שלכם.

• מעקב אחרי ביצועי סנטימנט

  בחינת ציונים במשימות סיווג ספציפיות על בסיס נתונים מקומיים בעברית.

איפה זה נופל

זה לא ממשק שיחה עם מודלים ולא כלי לבדיקת טקסט חופשי. הנתונים מתבססים על מאגרים מוגדרים כמו ניתוח סנטימנט, ולכן ציון גבוה לא מבטיח שהמודל יידע לכתוב תוכן שוטף או מדויק במשימות אחרות. בנוסף, לשונית ההגשה של מודלים חדשים מוסתרת כרגע בקוד, כך שאין ערובה שתוכלו להוסיף מודל משלכם ישירות דרך האתר.

איך משתמשים

אין צורך בהתחברות כדי לצפות בטבלה, לחפש מודלים או לסנן עמודות. הנתונים נטענים מיד עם פתיחת העמוד, ופעולות הסינון מתבצעות ישירות בדפדפן בלי המתנה ממושכת. המערכת יושבת על חומרת מעבד משודרגת, מה שמספיק בהחלט להצגת טבלאות ורשימות קיימות. אם תרצו להגיש מודל חדש לבדיקה בעצמכם, תצטרכו להתחבר עם משתמש מתאים דרך כפתור ייעודי, בתנאי שהטופס פעיל.

הרישיון

הקוד פתוח תחת רישיון apache-2.0, כך שמותר להעתיק, לשנות ולהריץ אותו מחדש. המידע בטבלאות נמשך ממאגרי תוצאות ציבוריים, ואין כאן העלאה של קבצים פרטיים בעת צפייה פשוטה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗