multilingual-reward-bench
קוד פתוחCohereLabsCommunityodc-by2024-09-07
מאגר שמתרגם את מבחן ההעדפות RewardBench ל־23 שפות, כולל עברית. הוא מיועד למי שרוצה לבדוק אם מודל התגמול שלו מזהה תשובות טובות גם מחוץ לאנגלית.
- 812הורדות בחודש
- 36לייקים
מה זה
המאגר מכיל שלשות של פרומפט, תשובה מועדפת ותשובה שנדחתה. הנתונים מתבססים על תרגום של כ־2,870 דוגמאות מתוך RewardBench המקורי, שבהן התשובות עברו תיקוף אנושי במקור. המטרה היא לבחון מודלי תגמול (Reward Models) בשפות שאינן אנגלית במשימות שיחה, בטיחות, והסקה לוגית.
בנוסף למשימות הכלליות, המאגר כולל תת-קבוצה ייעודית של 800 דוגמאות למשימות תרגום שמקורן במאגר MAPLE. החלוקה בפועל מסודרת לפי שפות, כאשר כל שפה מקבלת קבצים משלה בפורמטים שונים שכוללים קובץ גולמי ומסונן.
הרשומות במשימות הכלליות כוללות את הפרומפט, שתי התשובות, שפת הטקסט, המודלים שייצרו כל תשובה, והקטגוריה שאליה הדוגמה שייכת. במשימת התרגום נוספו גם שדות של ציונים ומערכות המקור שמהן הופקו התשובות.
מתאים ל
- הערכת מודלי תגמול בעברית
בדיקה אם מודל התגמול שלכם מצליח לדרג נכון תשובות בעברית בתחומי שיחה, בטיחות והסקה.
- מבחן ביצועים רב-לשוני
השוואת ביצועי מודלי העדפה על פני 23 שפות שונות תחת אותן קטגוריות בדיקה.
- בקרת איכות במשימות תרגום
שימוש בתת-המאגר של 800 הדוגמאות כדי לבחון דירוג איכות של פלטי תרגום שונים.
איפה זה נופל
הבסיס לרוב המאגר הוא תרגום של נתונים שנכתבו במקור באנגלית עבור RewardBench. תרגום כזה עלול לפספס ניואנסים תרבותיים או להכניס שגיאות תחביריות לשפות היעד, כולל עברית. בנוסף, מדובר במאגר הערכה קטן יחסית של כ־2,870 דוגמאות לשפה, כך שהוא מתאים למבחן ביצועים נקודתי ולא כבסיס לאימון מודל רחב.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקטים מסחריים?
כן, הרישיון המדווח הוא ODC-By שמתיר שימוש מסחרי. החובה המרכזית שלכם היא לתת ייחוס הולם ליוצרי המאגר. אין כאן דרישת שיתוף תחת אותו רישיון עבור המודל שאתם מעריכים או בונים.
האם המאגר כולל עברית?
כן, עברית מופיעה ברשימת 23 השפות הנתמכות בגרסה זו. הטקסטים בעברית נוצרו על ידי תרגום הנתונים מתוך RewardBench המקורי. כדאי לבדוק את איכות התרגום בקובצי השפה לפני שמסתמכים על התוצאות להערכה סופית.
איך נאספו הנתונים במאגר?
החוקרים לקחו כ־2,870 דוגמאות קיימות ממאגר RewardBench ותרגמו אותן ל־23 שפות במסגרת פרויקט Expedition Aya של Cohere. בנוסף, הם צירפו 800 דוגמאות של משימות תרגום מתוך פרויקט בשם MAPLE. הנתונים המקוריים באנגלית עברו תיקוף אנושי לפני התרגום.
מה ההבדל בין מאגר זה ל־RewardBench המקורי?
המאגר המקורי נבנה ונבדק באנגלית בלבד. הפרויקט הזה לקח את הדוגמאות מהמקור, תרגם אותן לשפות נוספות וסידר אותן לפי תיקיות שפה ייעודיות. המבנה מאפשר להריץ בדיקות זהות לאלו של RewardBench על מודלים שפועלים בשפות אחרות.
איך טוענים
טוענים את המאגר ישירות דרך ספריית datasets באמצעות המזהה CohereLabsCommunity/multilingual-reward-bench. הגישה פתוחה לחלוטין ואין צורך לבקש אישור גישה מוקדם. הנתונים מאורגנים בתיקיות לפי שפות בקובצי Parquet ו־JSON, כמו קובצי filtered ו־raw. השדות המרכזיים שצריך לשלוף הם prompt, chosen, rejected והשדה category כדי לפלח את הביצועים לפי סוג המשימה.
from datasets import load_dataset
ds = load_dataset("CohereLabsCommunity/multilingual-reward-bench")הרישיון
המאגר מופץ תחת רישיון ODC-By. הרישיון מתיר שימוש מסחרי, שינוי והפצה של הנתונים, כל עוד אתם מעניקים קרדיט מתאים ליוצרים המקוריים לפי תנאי הרישיון. הוא אינו כולל דרישה להפיץ עבודות נגזרות תחת אותו רישיון.