ALL-Bench-Leaderboard
קוד פתוחFINAL-Benchmit2026-03-08
זה לא עוד מאגר שאלות לאימון, אלא טבלת תוצאות שמרכזת ביצועים של מעל 90 מודלים. המאגר עוזר לבחור מודל על בסיס ציונים מאומתים מרובי מקורות במקום להסתמך על דיווחי החברות.
- 874הורדות בחודש
- 26לייקים
מה זה
המאגר מכיל קובצי נתונים מסוג JSONL שמסכמים מבחני ביצועים רוחביים בשישה תחומים שונים: שפה, ראייה ממוחשבת, סוכנים אוטונומיים, תמונה, וידאו ומוזיקה. כל שורה מייצגת מודל בודד וכוללת פרטים בסיסיים כמו שם, ספק, תאריך יציאה, רישיון, ומחירי שימוש באסימונים במידה ומדובר במודל מסחרי סגור.
קובץ השפה מרכז תוצאות מ־32 מבחנים שונים, כולל מדדים מוכרים ומבחן פנימי של הפרויקט. שאר הקבצים מרכזים עשרות מדדים ייעודיים לתחומם, או דירוגים השוואתיים במקרה של יצירת מדיה. הנתונים נאספו מדיווחי מפתחים, מבחני צד שלישי ובדיקות מקוריות של היוצרים, כאשר כל ציון מסומן לפי רמת האמינות שלו: דיווח עצמי, מקור יחיד, או אימות צולב מכמה גורמים.
מתאים ל
- בחירת מודל שפה למערכת
סינון והשוואת מודלים לפי ביצועים במשימות תכנות, פתרון בעיות ומחיר למיליון אסימונים.
- אימות נתוני שיווק של ספקים
הצלבת ציונים שמפרסמות חברות מול נתונים מאומתים שהתקבלו ממקורות בלתי תלויים.
- בניית לוח מחוונים פנימי
שילוב נתוני הביצועים והמחירים בממשקי קבלת החלטות ארגוניים.
איפה זה נופל
הנתונים עוסקים באנגלית בלבד ואינם כוללים הערכות ישירות למשימות בעברית. המאגר עצמו אינו מכיל את פרומפטי המבחן או שאלות הבדיקה של Union Eval, אלא רק את הציונים הסופיים, כך שאי אפשר להריץ את המבחן עצמאית על מודל מקומי. חלק מהציונים מבוססים על דיווח עצמי של ספקי המודלים ולא אומתו במקור חיצוני. בנוסף, מודלים שונים נבדקו על מספר שונה של מבחנים, מה שיוצר פערים בעמודות.
שאלות
נפוצות
האם הדאטהסט מתאים לאימון מודלים?
לא. מדובר במאגר טבלאי של ציונים ומדדי השוואה עבור מודלים קיימים, ולא בקובצי טקסט או שאלות ותשובות שנועדו לאימון או כוונון עדין.
האם יש במאגר התייחסות לעברית?
לא. השפה המוגדרת במאגר היא אנגלית בלבד, וכל המבחנים והציונים מתייחסים להערכות ביצועים בשפה זו או בקוד ומולטימדיה.
האם אפשר להשתמש במידע במוצר מסחרי?
כן. רישיון MIT מתיר שימוש מסחרי מלא בנתונים, בתנאי ששומרים על הקרדיט והודעת הרישיון המקורית של הפרויקט.
האם אפשר להריץ את מבחן Union Eval על המודל שלי בעזרת הקבצים?
לא. היוצרים לא שחררו את מאגר השאלות עצמו כדי למנוע דליפה של המבחן לנתוני האימון, והמאגר כולל אך ורק את הציונים הסופיים של המודלים שנבדקו.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות ציון שם התצורה הרצויה, למשל llm או agent. אין צורך באישור גישה והמאגר פתוח לחלוטין להורדה. מדובר במאגר קטן מאוד של פחות מאלף שורות, כך שאפשר להמיר אותו מיד לטבלת פנדס ולעבוד איתו מקומית. עמודות הציונים כוללות ערכי null עבור מודלים שלא נבדקו במבחן מסוים, ולכן חובה לסנן ערכים חסרים לפני ביצוע חישובים או דירוגים.
from datasets import load_dataset
ds = load_dataset("FINAL-Bench/ALL-Bench-Leaderboard")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש מסחרי, שינוי, הפצה ושילוב במערכות פנימיות ללא עלות, ומחייב רק שמירה על הודעת זכויות היוצרים המקורית. היות שמדובר בטבלת תוצאות ולא בדאטהסט אימון, הרישיון רלוונטי בעיקר לשימוש בנתונים לבניית לוחות בקרה, דוחות או כלי השוואה.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש