vidore-leaderboard

מה זה

לא מעלים לכאן מסמכים ולא מריצים שאילתות בזמן אמת. במקום זה מקבלים טבלאות נתונים מוכנות ותרשימים שמציגים ביצועים של מודלים שונים, כמו ColPali, על בסיס נתוני הבנצ'מרק של ViDoRe בגרסאות 1, 2 ו־3.

הממשק מחלק את הממצאים ללשוניות לפי גרסאות המבחן. מתחת למכסה נטענים נתוני תוצאות מוכנים מראש מקובץ vidore/baseline-results, והם מוצגים בטבלאות פנדס ובגרפים של פלוטלי שמשווים בין ציוני איכות לזמני השהיה. בלשונית של צנרות העבודה בגרסה 3 מצוין במפורש שעדיין אין תוצאות זמינות.

מתאים ל

• בחירת ארכיטקטורה למסמכים

  השוואת ביצועים בין מודלים שונים כדי להחליט באיזה פתרון להשתמש לאיתור מידע ויזואלי.

• בדיקת זמני ריצה מול דיוק

  ניתוח גרף ההשהיה לעומת הציון הממוצע כדי למצוא מודל שעומד בדרישות מהירות.

• הגשת תוצאות למחקר

  עיון בהנחיות לשליחת תוצאות של מודל עצמאי כדי להכניס אותו ללוח ההשוואה הרשמי.

איפה זה נופל

זהו לוח השוואה בלבד ולא כלי עבודה שמנתח קבצים שלכם. אי אפשר לבדוק בו איך מודל מסוים מתמודד עם מסמך ספציפי בעברית או באנגלית, אלא רק לראות ציונים כלליים שנקבעו מראש. בלשוניות מסוימות חסרים נתונים לחלוטין, ויש לשונית שמוגדרת כמיושנת ולא רלוונטית.

איך משתמשים

נכנסים לעמוד והנתונים נטענים מיד בלי צורך בהרשמה או התחברות. בוחרים לשונית רצויה, מסננים מטריקות בתיבת הבחירה, מקלידים שם של מודל בחיפוש או מסמנים עמודות רצויות בתיבות הסימון. הכל רץ על מעבד בסיסי פשוט, אבל מכיוון שמדובר בסינון טבלאות קיים ולא בחישוב בינה מלאכותית כבד, התגובה בממשק מיידית.

הרישיון

הקוד מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, העתקה ושינוי לכל מטרה כולל שימוש מסחרי. לא מעלים לממשק קבצים אישיים, כך שאין שמירה או עיבוד של מידע פרטי בשרת.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗