R-Bench

מה זה

המאגר מיועד להערכת מודלים וכולל שאלות מורכבות בדרגת קושי של תארים מתקדמים. התוכן מכסה 19 פקולטות שונות כמו מתמטיקה, פיזיקה, ביולוגיה, מדעי המחשב וכימיה, ומתפרס על פני יותר מ־100 מקצועות ספציפיים, מקינטיקה של תגובות כימיות ועד אלקטרומגנטיות. לפי התיעוד השאלות עברו ברירה והתאמה מדויקת לרמות קושי גבוהות ואיזון בין התחומים.

הנתונים מחולקים לשני סוגי מבחנים, שניהם זמינים באנגלית ובסינית. החלק הראשון הוא מבחן טקסטואלי בלבד שמכיל 1,094 שאלות להערכת מודלי שפה, והחלק השני הוא מבחן מולטימודלי שמכיל 665 שאלות ומיועד לבדיקת יכולות המשלבות תמונה וטקסט. המבנה מופרד לקבצים שונים לפי שפה ולפי סוג המבחן.

מתאים ל

• הערכת הסקת מסקנות במודלי שפה

  בדיקת יכולת המודל לפתור בעיות טקסטואליות מורכבות במדעים מדויקים ברמה אקדמית גבוהה באנגלית או בסינית.

• מדידת ביצועים מולטימודליים

  בחינת יכולות של מודלי ראייה-שפה על שאלות הדורשות ניתוח משולב של תרשימים וטקסט מדעי.

• השוואת ביצועים מול מודלי קצה

  בנצ'מרק של המודל שלכם מול תוצאות מפורסמות של מודלים כמו OpenAI o1 ו־Claude 3.5 Sonnet.

איפה זה נופל

אין כאן עברית כלל. הנתונים זמינים באנגלית ובסינית בלבד, כך שאם אתם עובדים על מודל מקומי תצטרכו לתרגם את השאלות ולהסתכן באובדן הדיוק המדעי הדק. בנוסף, הדאטהסט לא מיועד לאימון אלא לבנצ'מרק, ומספר הדוגמאות הכולל קטן יחסית. מודלים מובילים מגיעים כאן לדיוק של סביב 50 עד 70 אחוז בלבד, מה שמראה שהשאלות אכן קשות, אך הכרטיס לא מפרט את מקורות התוכן המדויקים שמהם נלקחו השאלות המקוריות.

איך טוענים

המאגר פתוח לגישה ישירה ומכיל שישה קבצים, כולל קובצי Parquet ששמורים תחת תיקיות ייעודיות לכל משימה ושפה: קבצים עבור החלק המולטימודלי באנגלית ובסינית, וקבצים עבור החלק הטקסטואלי בשתי השפות. סך כל הרשומות נמצא בטווח שבין 1,000 ל־10,000 שאלות, כך שמדובר בנפח קל משקל שנטען בשניות בסביבת עבודה סטנדרטית בלי צורך בחומרה ייעודית או באישורי גישה מוקדמים.

from datasets import load_dataset

ds = load_dataset("R-Bench/R-Bench")

הרישיון

הרישיון המדווח הוא Apache 2.0. זהו רישיון מתירני שמאפשר שימוש חופשי, כולל שימוש מסחרי, שינוי והפצה של הנתונים, כל עוד אתם שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון. שימוש במאגר לצורך הערכה של מודלים מסחריים מותר לחלוטין ואינו מחייב אתכם לחשוף את הקוד או את המודל שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗