Ger-RAG-eval

מה זה

המאגר מבוסס על סט הבחינה מתוך wikipedia-22-12-de-dpr של דויטשה טלקום, וכולל ארבע משימות שונות שכל אחת מהן מחזיקה בדיוק אלף פרומפטים. המטרה כאן היא לא אימון מודל אלא בדיקת היכולת שלו להתמודד עם טקסטים עובדתיים בגרמנית ולבצע הצלבות נכונות בין שאלות, תשובות והקשרים.

המשימה הראשונה דורשת לבחור שאלה אחת מתוך ארבע על בסיס הקשר נתון. המשימה השנייה הופכת את הכיוון ומציגה שאלה מול ארבעה קטעי הקשר כדי לזהות מי מהם מכיל את המידע הנכון. המשימה השלישית מציגה שאלה ותשובה ודורשת הכרעה בינארית של כן או לא האם התשובה אכן עונה על השאלה. המשימה הרביעית בודקת התאמה בינארית דומה בין קטע הקשר לבין שאלה.

הטקסטים נלקחו מוויקיפדיה בגרמנית מגרסת דצמבר 2022, והשאלות והתשובות נבנו סביבם לצורך הערכת יכולות אחזור ויצירה. כל החלקים מחולקים לקבצים ייעודיים לפי משימה, ומאפשרים למדוד דיוק בכל שלב בנפרד.

מתאים ל

• השוואת ביצועי מודלים

  בדיקת דיוק והכרעה של מודלי שפה שונים מול אלף שאלות מובנות בגרמנית.

• אימות רכיב אחזור

  מדידת היכולת לסנן הקשר מתאים מתוך ארבע פסקאות עבור שאילתה נתונה.

• זיהוי הזיות בתשובות

  בחינת יכולת המודל לפסול תשובות שאינן עונות בפועל על השאלה שנשאלה.

איפה זה נופל

המאגר כתוב כולו בגרמנית ואין בו מילה אחת בעברית או באנגלית, כך שהוא חסר תועלת לחלוטין למי שבונה שירות מקומי שאינו מיועד לשוק הגרמני. המקור מוגבל לטקסטים מוויקיפדיה בסוף 2022, עובדה שמשאירה פערי ידע על אירועים מאוחרים יותר ומתמקדת בסגנון אנציקלופדי בלבד ולא בשיחות או במסמכים עסקיים. בנוסף, היוצרים תיקנו פגם בניסוח הפרומפטים באפריל 2024, מה שאומר שכל תוצאה או הרצה שנשענת על הגרסה שקדמה לתיקון הזה אינה מדויקת ומחייבת בדיקה חוזרת.

איך טוענים

הנתונים שמורים בארבעה קבצי Parquet נפרדים, קובץ לכל משימה, לצד קובצי תיעוד. גודל המאגר כולו נע בין אלף לעשרת אלפים רשומות, כך שמדובר בהורדה מהירה מאוד שאינה דורשת משאבי אחסון מיוחדים או בקשת אישור גישה מוקדמת. ההרצה מותאמת לכלי הבדיקה LightEval של Hugging Face. שימו לב שהטעינה עשויה לדרוש הגדרת משתנה סביבה כדי לאשר הרצת קוד מרוחק בגלל באג מוכר בספרייה, והיוצרים ממליצים להריץ את המבחנים עם תבנית צ'אט ובגודל אצווה של אחד לקבלת תוצאות תואמות.

from datasets import load_dataset

ds = load_dataset("deutsche-telekom/Ger-RAG-eval")

הרישיון

הרישיון הוא CC BY-SA 4.0, המאפשר שימוש מסחרי ומחקר. חובה לתת קרדיט לכותבי ויקיפדיה בגרמנית, לפיליפ מאי ולדויטשה טלקום. תנאי השיתוף הזהה מחייב שכל נגזרת של הדאטהסט תופץ תחת אותו רישיון. אם אתם רק מעריכים ביצועים של מודל קיים, אין חובה לשחרר את המודל עצמו.

• שימוש מסחרי
• שינוי הקוד
• חובת שיתוף באותו רישיון

הרישיון המלא ב־Hugging Face ↗