open_pt_llm_leaderboard

מה זה

לא מזינים כאן טקסט כדי לייצר תוכן. הדף מציג טבלאות נתונים מוכנות של מודלים שנבחנו במשימות יצירת טקסט בפורטוגזית, לצד גרפים שמתעדים את הציון הממוצע מול רמת ביצועי אנוש לאורך זמן. יש בלשונית המדדים תרשימים שמציגים זמני ריצה של ההערכות על גבי שרת ייעודי, כך שרואים באופן ויזואלי כיצד גודל המודל משפיע על העיבוד.

התוכנה מאחורי הממשק שואבת קבצי תוצאות ממאגרי מידע ומסדרת אותם בטבלה אינטראקטיבית. המשתמשים מסננים לפי סוג המודל, רמת דיוק, גודל פרמטרים או שפה, ומחפשים שמות ספציפיים כמו גרסאות של Yi או Llama. בעבר היה אפשר להגיש שמות מודלים חדשים למבחן דרך תיבת טקסט ייעודית, אך הפרויקט מוגדר כעת כארכיון סגור וההגשות אינן פעילות.

מתאים ל

• בחירת מודל לפורטוגזית

  סינון והשוואת ציונים של מודלים פתוחים שנבדקו במשימות שפה בפורטוגזית.

• בדיקת זמני הערכה

  צפייה בגרפים המציגים זמני ריצה היסטוריים על כרטיסי A100 לפי גודל מודל.

• בחינת ציונים מול אדם

  מעקב אחר מגמות ביצועים היסטוריות מול רף ביצועים אנושי לאורך זמן.

איפה זה נופל

זהו לוח נתונים שנמצא בארכיון וסגור להגשות חדשות, כך שאי אפשר לבדוק בו מודלים עדכניים שלא הוכנסו בעבר. הממשק לא מאפשר להריץ פרומפטים ישירות, והוא לא מהווה מדד ביצועים טכני מדויק למהירות תגובה של מודל בזמן אמת. בנוסף, כל המבחנים מתמקדים בפורטוגזית, ולכן אין כאן מידע שימושי עבור בדיקות ביצועים בעברית.

איך משתמשים

פותחים את הקישור בדפדפן בלי צורך בחשבון או בהתחברות. הדף נטען כקובץ סטטי ומציג מיד את הנתונים, כאשר הסינונים והחיפוש בטבלה מגיבים באופן מיידי. אין תור עיבוד למבקרים רגילים מפני שלא מריצים כאן שאילתות בזמן אמת. מבחני העבר רצו על כרטיס Nvidia A100 עם שמונים גיגה זיכרון, אך עבורכם מדובר בצפייה בנתונים היסטוריים בלבד.

הרישיון

הקוד והפרויקט מופצים ברישיון apache-2.0, שמאפשר שימוש חופשי, שינוי והפצה כולל לצרכים מסחריים. אין הזנת קבצים אישיים למערכת, והנתונים המוצגים מגיעים מריצות מבחן פומביות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗