MTEB-BR/leaderboard
רץ בדפדפןMTEB-BRapache-2.02026-06-07
לוח תוצאות שמרכז ציוני ביצועים של מודלי שיכוך טקסט בפורטוגזית ברזילאית. מתאים למי שבונה חיפוש סמנטי, סיווג או אחזור מידע בפורטוגזית.
- —הורדות בחודש
- 121לייקים
מה זה
העמוד מציג טבלת דירוג עבור 93 מודלים, מתוכם 73 מודלים עם משקולות פתוחות כמו Qwen3-Embedding, KaLM-Embedding ו־embeddinggemma, לצד 20 ממשקי API מסחריים סגורים. כל המודלים נבחנו על פני 22 משימות מקומיות שמקורן בברזיל ולא בתרגום מכונה, בחלוקה לשבע קטגוריות שכוללות סיווג, סיווג מרובה תוויות, התאמת זוגות, דמיון סמנטי, קיבוץ, אחזור ודירוג מחדש.
הנתונים מבוססים על מאגר תוצאות ייעודי בשם MTEB-BR/mteb-pt-results. המדד המרכזי שמוצג הוא ממוצע הציונים בכל המשימות, בצירוף רווחי סמך סטטיסטיים ומדדי מובהקות. אין כאן תיבת טקסט שממירה משפטים לוקטורים בזמן אמת, אלא השוואה מספרית רחבה בין ארכיטקטורות ומודלים שונים כדי לראות מה באמת מספק תוצאות בשפה הזו.
מתאים ל
- בחירת מודל שיכוך לפורטוגזית
השוואת ביצועים בין מודלים פתוחים וסגורים כדי להחליט באיזה מודל להשתמש במערכת אחזור מידע.
- בדיקת איכות במשימות משפט ורפואה
בחינת ציוני המודלים במשימות ייעודיות של קיבוץ ואחזור טקסטים מתחום החוק והבריאות בברזיל.
- הגשת מודל חדש למדד
בדיקת הרף של המודלים הקיימים לפני שליחת תוצאות של מודל עצמאי לבחינה במאגר.
איפה זה נופל
זהו לוח השוואה בלבד ולא שרת שמייצר וקטורים, כך שאי אפשר לבדוק בו איך המודלים מתמודדים עם טקסט פרטי שלכם. הנתונים מתמקדים אך ורק בפורטוגזית ברזילאית מקורית, ולכן הם חסרי משמעות עבור עברית או שפות אחרות. מעבר לכך, משימות המבחן מכסות תחומים מוגדרים כמו משפטים, רפואה ומיסוי מקומי, והביצועים שם לא בהכרח ישקפו דיוק על מאגרי מידע מסחריים מחוץ להקשרים האלה.
שאלות
נפוצות
האם השימוש בלוח התוצאות עולה כסף?
לא, הצפייה בנתונים חופשית לחלוטין וללא עלות. האפליקציה פתוחה בדפדפן ואינה דורשת מנוי או חיבור לחשבון כלשהו. כל המידע והדירוגים גלויים לציבור.
מה קורה עם הקבצים שאני מנסה להעלות?
האפליקציה אינה כוללת מנגנון להעלאת קבצים או להזנת טקסטים אישיים. מדובר בדף סטטי שמציג תוצאות קיימות בלבד, ולכן שום מידע שלכם אינו נאסף או נשלח לרשת.
האם אפשר להריץ את הטבלה באופן מקומי?
כן, קוד המקור זמין בגיטהאב ומאגר התוצאות פתוח להורדה. אפשר לשכפל את המאגר, לבחון את קובצי הנתונים הגולמיים ולהציג את הטבלאות על המחשב שלכם ללא תלות באתר.
במה הדף הזה שונה מהרצת המודלים עצמם?
הדף הזה לא מריץ חישובי בינה מלאכותית ולא מייצר שיכוכים לטקסט חדש. הוא מציג ריכוז של מבחני ביצועים שכבר הורצו ונמדדו מראש על מודלים שונים לצורכי השוואה.
איך משתמשים
אין צורך בהרשמה, אין תורים ואין זמני המתנה. האפליקציה בנויה כאתר סטטי שמציג נתונים מוכנים מראש, כך שהטבלאות נטענות מיד עם פתיחת הקישור בדפדפן. לא מזינים כאן טקסטים ולא מריצים חישובים חדשים. כל מה שעושים זה לעיין ברשימת המודלים, לסנן לפי קטגוריות המשימות או לבדוק את הציונים של מודל ספציפי מול האחרים. אם רוצים לצרף מודל חדש למאגר, ההגשה מתבצעת דרך גיטהאב עם קובצי התוצאות וסקריפט לשחזור.
הרישיון
הפרויקט מפורסם תחת רישיון apache-2.0. הרישיון מתיר שימוש חופשי בקוד, שינוי שלו והפצה לצרכים אישיים ומסחריים, בכפוף לשמירה על תנאי הרישיון המקוריים. מכיוון שמדובר בלוח תוצאות סטטי, אתם לא מעלים אליו קבצים ושום תוכן שלכם אינו נשמר או מועבר לצד שלישי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים