open_ita_llm_leaderboard

מה זה

זהו לוח השוואה שמרכז נתונים מוכנים מראש. לא מעלים לכאן טקסט לעיבוד ולא מריצים צ'אט, אלא צופים בטבלאות ביצועים ומסננים אותן לפי שם המודל, רמת הדיוק, הגודל וסוג המשקלים. אפשר גם לסמן סינון שמשאיר רק מודלים ייעודיים לאיטלקית. אם אימנתם מודל משלכם, יש לשונית להגשת מזהה המודל מתוך Hugging Face כדי שייכנס לתור הבדיקות.

הדירוג נשען על מבחני ביצועים מתורגמים וייעודיים, ביניהם גרסאות איטלקיות ל־ARC, ל־HellaSwag, ל־MMLU וכן מבחן MMLU-Pro-ita. בלשונית נפרדת מוצגות הערכות נוספות כמו מבחני INVALSI, כך שהמערכת מציגה תמונת מצב השוואתית מול מבחני שפה ולא כלי עבודה חי.

מתאים ל

• בחירת מודל לאיטלקית

  השוואת ביצועים בין מודלים פתוחים שונים כדי להחליט איזה מהם הכי חזק במשימות שפה באיטלקית.

• הגשת מודל למבחן

  הוספת מודל פתוח שאימנתם לתור ההערכה כדי לקבל ציון רשמי ולהופיע בדירוג הציבורי.

• מעקב אחרי גרסאות ודיוק

  סינון לפי גודל פרמטרים ורמת דיוק כדי למצוא מודל שמתאים למגבלות החומרה שלכם.

איפה זה נופל

העמוד הזה לא מייצר טקסט ולא עונה על שאלות, כך שאי אפשר לבדוק בו ישירות איך מודל מסוים מתנסח בפועל. מבחנים ממוחשבים כמו MMLU מתורגם לא תמיד משקפים איכות שיחה טבעית או רהיטות, ולפעמים מודלים משיגים ציונים גבוהים במבחנים סגורים אך מתקשים בכתיבה חופשית. בנוסף, הוא בודק איטלקית בלבד ואינו רלוונטי למי שמחפש ביצועים בעברית.

איך משתמשים

גלישה פשוטה לעמוד פותחת את הטבלאות מיד, ללא צורך בהתחברות או בהרשמה לצפייה בנתונים. הסינונים בטבלה עובדים מקומית ובמהירות. אם אתם רוצים להגיש מודל חדש להערכה, עוברים ללשונית ההגשה, מזינים את שם המודל, גרסת ה־commit, סוג הדיוק והמשקלים, ולוחצים על שליחה. הבדיקה עצמה לא קורית בדפדפן אלא נכנסת לתור שמנוהל ברקע.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי בקוד. לגבי המודלים שמופיעים בטבלאות עצמן, לכל מודל ולכל דאטהסט ברשימה יש רישיון משלו, ויש לבדוק אותם בנפרד לפני שימוש מסחרי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗