m-ArenaHard
קוד פתוחCohereLabsapache-2.02024-10-23
המאגר מרכז 500 פרומפטים מורכבים מתוך Chatbot Arena שתורגמו ל־23 שפות שונות. הוא מיועד למי שרוצה לבצע הערכה אוטומטית למודלי שפה מעבר לאנגלית בלבד.
- 704הורדות בחודש
- 27לייקים
מה זה
בבסיס המאגר עומדות 500 שאילתות משתמש קשות ומאתגרות, שמקורן במבחן arena-hard-auto-v0.1 של LMSYS. הפרומפטים המקוריים באנגלית נאספו במקור מתוך שיחות אמיתיות של משתמשים בפלטפורמת Chatbot Arena, ומטרתם לבדוק יכולות של מודלי שפה על ידי שיפוט אוטומטי של מודל שופט בעל מתאם גבוה לדירוגי אדם.
כדי לייצר את הגרסה הרב-לשונית, Cohere Labs תרגמו את אותם הפרומפטים באמצעות Google Translate API v3 ל־22 שפות נוספות, בהן עברית, ערבית, גרמנית, יפנית ורוסית, כך שבסך הכל המאגר כולל 23 שפות. כל רשומה כוללת את הטקסט של הפרומפט המתורגם לצד המזהה הייחודי שלו, האשכול הנושאי שאליו הוא שייך, והקטגוריה המקורית מהמאגר הראשון. כל השפות חולקות מבנה שדות זהה לחלוטין.
מתאים ל
- הערכת מודלים רב-לשונית
בדיקת איכות התשובות של מודל שפה על שאילתות מורכבות בעברית ובשפות נוספות.
- שיפוט אוטומטי מבוסס LLM
הרצת מודל שופט לקבלת ציונים בעלי מתאם לדירוגי Chatbot Arena.
- השוואת ביצועים חוצת שפות
מדידת הפער ביכולת המודל לענות על אותה השאלה באנגלית לעומת שפות אחרות.
איפה זה נופל
הנקודה הקריטית כאן היא מקור התרגום. כל השאלות תורגמו ממקור אנגלי באמצעות כלי תרגום מכונה של גוגל, ולא עברו כתיבה מקורית בידי דוברי השפות השונות. תרגום מכונה עלול לפספס ניואנסים, סלנג מקומי או מבנים תחביריים מורכבים, בייחוד בשפות כמו עברית וערבית. בנוסף, מדובר במדגם קטן יחסית של 500 פרומפטים בלבד, כך שהוא מתאים לבנצ'מרק מהיר אבל לא מייצג את כל רוחב השימוש של משתמשי קצה בעולם האמיתי.
שאלות
נפוצות
האם המאגר כולל עברית?
כן, עברית היא אחת מ־23 השפות שזמינות במאגר, תחת קוד השפה he. הטקסטים בעברית נוצרו על ידי תרגום מכונה של הפרומפטים המקוריים מאנגלית.
האם מותר להשתמש בו לפרויקט מסחרי?
כן, רישיון apache-2.0 מאפשר שימוש מסחרי מלא ללא הגבלה, כולל הערכה ואימון של מערכות מסחריות. הדרישה היחידה היא שמירה על תנאי הייחוס והודעת הרישיון המקורית.
איך נוצרו הנתונים במאגר?
הבסיס הוא 500 שאילתות משתמשים מאתגרות שנבחרו מתוך פלטפורמת Chatbot Arena באנגלית. חוקרי Cohere Labs לקחו את השאלות הללו ותרגמו אותן באמצעות Google Translate API v3 ל־22 שפות.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets בפייתון, ללא צורך באישור גישה מוקדם או בחשבון מיוחד. אפשר לטעון את כל 25 הקבצים במאגר בבת אחת, או לבחור שפה ספציפית כמו עברית באמצעות ציון קוד השפה. הנתונים שמורים בקובצי parquet, כאשר השדות החשובים לעבודה הם prompt שמכיל את השאילתה, ו־question_id שמזהה את השאלה לצורך השוואה בין שפות וגרסאות.
from datasets import load_dataset
ds = load_dataset("CohereLabs/m-ArenaHard")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש חופשי לחלוטין, כולל שימוש מסחרי, מחקרי, שינוי הנתונים וחלוקה שלהם מחדש. אין חובה לשתף נגזרות תחת אותו רישיון, ומותר לאמן או להעריך מודלים מסחריים על גביו, כל עוד שומרים על הודעת זכויות היוצרים והייחוס ליוצרים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים