Q-CARE
קוד פתוחDISLabcc-by-sa-4.02026-08-26
המאגר מרכז 800 שאילתות להערכת מערכות RAG יחד עם מקטעים שאוחזרו ותשובות מוכנות משמונה מודלים שונים. הוא חוסך הרצת אחזור כבדה ומאפשר לבחון איכות תשובות בלי להסתמך על תשובות ייחוס.
- 2,538הורדות בחודש
- 18לייקים
מה זה
הנתונים מכילים בסך הכל 800 שאילתות שמחולקות שווה בשווה בין שתי תצורות: שאלות סגורות מבוססות עובדות ושאלות פתוחות שמצריכות הסבר. המקורות מגוונים ומגיעים משמונה מאגרים שונים, בהם Natural Questions, NewsQA, HotpotQA, FinQA, PubMedQA, שני תתי-מאגרים של LoTTE מקהילות StackExchange, ושאלות מפורום ELI5 ברדיט. כל מאגר תורם בדיוק 100 שאלות לסט.
עבור כל שאילתה מצורפים 30 מקטעי טקסט מובילים שאוחזרו בשתי שיטות נפרדות, BM25 ו־ANCE. בנוסף, הרשומות כוללות את התשובות שנוצרו על גבי המקטעים האלה על ידי שמונה מודלים, בהם GPT-5, Claude-Sonnet, Gemini-2.5-pro, ומודלים פתוחים ממשפחות Qwen3 ו־Gemma3. יש ברשומה גם תשובות ייחוס ומקטעי מקור, אך הם נועדו להשוואה למדדים קלאסיים בלבד ולא נדרשים להערכה עצמה.
מתאים ל
- הערכת מודלי שפה ב־RAG
מדידת איכות הניסוח, השלמות והדיוק של מודל חדש על בסיס אותם מקטעי טקסט שנבדקו מול מודלים קיימים.
- בדיקת אלגוריתמי אחזור
השוואת ביצועי מנוע אחזור חדש מול תוצאות הדירוג של BM25 ו־ANCE ששמורות במאגר עבור אותן 800 שאלות.
- כיול מדדי הערכה עצמאיים
בחינת שיטות בדיקה שאינן דורשות תשובת ייחוס על גבי מאגר שמכיל תשובות ממגוון רחב של ארכיטקטורות.
איפה זה נופל
כל הטקסטים במאגר הם באנגלית בלבד, כך שאין כאן שום ייצוג לעברית או לשפות אחרות. מעבר לכך, מדובר במדגם קטן של 800 שאלות שמתאים לבנצ'מרק ולהערכה השוואתית, אך קטן מדי לאימון מודלים. יש גם בעיות עקביות קלות בנתונים הגולמיים, כאשר חמש תשובות מתוך 12,800 נשמרו במקור כמספרים או כרשימות במקום מחרוזות טקסט רגילות, עניין שתוקן רק בגרסת ה־Parquet.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ להסתמך עליו לפיתוח מסחרי. למרות שהאוסף מוגדר תחת CC BY-SA 4.0, מקורות מסוימים בתוכו כמו NewsQA כוללים הסכמי שימוש מחקרי בלבד, ותכני ELI5 כפופים לתנאי השימוש של רדיט. יוצרי המאגר מציינים בעצמם שההפצה הזו מיועדת למחקר בלבד.
האם יש במאגר תמיכה בעברית?
אין במאגר תמיכה בעברית כלל. כל השאילתות, המקטעים המאוחזרים ותשובות המודלים נאספו ממקורות באנגלית בלבד. אם המטרה היא להעריך מערכת הפועלת בעברית, הנתונים כאן לא יסייעו.
כמה שוקל הדאטהסט והאם צריך להוריד קורפוס חיצוני?
המאגר שוקל מעט מאוד וכולל בסך הכל 800 רשומות שמופצות בשישה קבצים. אין צורך להוריד קורפוס טקסט חיצוני כדי להריץ את ההערכה. המקטעים שנדרשים לכל שאילתה כבר שמורים בתוך הרשומות עצמן.
במה המאגר שונה ממאגרי שאלות ותשובות רגילים?
הוא כולל כבר בתוכו את המקטעים שנשלפו ואת הפלטים של שמונה מודלים שונים עבור כל שאילתה. המבנה הזה נבנה במיוחד כדי לבחון הערכה נטולת תשובות ייחוס, בניגוד למאגרים רגילים שמספקים רק צמדים של שאלה ותשובה נכונה.
איך טוענים
טוענים את המאגר ישירות דרך הספרייה datasets באמצעות ציון התצורה הרצויה, close_ended או open_ended, תחת הספליט test. הגישה חופשית לחלוטין ואינה דורשת אישור מיוחד או מפתחות גישה. הקבצים זמינים בפורמט Parquet שטוח וכן כקובצי JSON גולמיים בתיקיית raw, כאשר הנפח הכולל קטן מאוד ומכיל פחות מאלף רשומות. השדות המרכזיים לעבודה הם השאילתה, רשימות המקטעים המאוחזרים, והמילונים שמחזיקים את תחזיות המודלים.
from datasets import load_dataset
ds = load_dataset("DISLab/Q-CARE")הרישיון
המאגר מופץ ברישיון CC BY-SA 4.0, שמחייב מתן קרדיט ושיתוף יצירות נגזרות תחת אותו רישיון בדיוק. עם זאת, החומרים המקוריים נלקחו ממקורות עם תנאים שונים, כולל NewsQA שמוגבל למחקר ותוכן מרוכז מרדיט תחת ELI5. בפועל, השילוב הזה הופך את המאגר למיועד למחקר בלבד, ולא הייתי משלב אותו בתשתיות של מוצר מסחרי.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון