GraphRAG-Bench
קוד פתוחGraphRAG-Benchרישיון לא דווח2025-05-16
בנצ׳מרק להערכת ביצועים של GraphRAG מול שיטות אחזור רגילות. הוא בודק איפה בדיוק גרף ידע משפר את התשובות בארבע רמות קושי שונות.
- 766הורדות בחודש
- 25לייקים
מה זה
המאגר מכיל קובצי JSON המחולקים לשני תחומים עיקריים, ספרות בדיונית ורפואה. המבנה מפריד בין קורפוס הטקסטים לבין קובצי השאלות הנלווים לכל תחום, יחד עם סקריפטים של פייתון להרצת תהליכי הערכה על שלבי השליפה והיצירה.
המשימות מחולקות לארבע רמות קושי הבוחנות את עומק ההקשר וההסקה. הרמה הראשונה בודקת אחזור עובדות פשוטות, השנייה דורשת הסקה מורכבת מתוך המידע, השלישית עוסקת בסיכום מבוסס הקשר, והרביעית בוחנת יצירת תוכן יצירתי תוך שמירה על עובדות וכיסוי המקורות.
כל רשומת בדיקה כוללת מזהה ייחודי, שאלת בדיקה, שם קובץ המקור, ראיות נדרשות, סוג השאלה והתשובה הנכונה המוגדרת כמדד להשוואה. הכרטיס אינו מפרט תהליכי סינון או מקורות איסוף ספציפיים מעבר לחלוקה לתחומי הספרות והרפואה.
מתאים ל
- הערכת מנועי חיפוש גרפיים
בדיקת ביצועי מודלי GraphRAG מול RAG סטנדרטי על שאילתות מורכבות.
- מדידת יכולות הסקה בהקשר
בחינת יכולת המודל לחבר עובדות מרוחקות בטקסטים רפואיים וספרותיים.
- בדיקת איכות שלבי אחזור
הרצת סקריפטים ייעודיים לבדיקת כיסוי ודיוק ההקשר שנשלף מהגרף.
איפה זה נופל
כל הדוגמאות המוצגות בכרטיס כתובות באנגלית, ואין אזכור לתמיכה בשפות אחרות או בעברית. שימוש במאגר להערכת מערכות בשפה המקומית ידרוש תרגום מקיף או התאמה מלאה של הקורפוס והשאלות.
הבנצ׳מרק ממוקד בשני תחומים צרים בלבד, ספרות ורפואה, כך שקשה להסיק ממנו על תחומים כמו משפטים, פיננסים או תמיכה טכנית. בנוסף, קוד ההערכה תלוי במודלים סגורים כמו gpt-4-turbo ובמפתח API חיצוני, מה שיוצר עלויות שוטפות ומקשה על שחזור מדויק כשהמודלים החיצוניים מתעדכנים.
שאלות
נפוצות
האם מותר להשתמש במאגר לצרכים מסחריים?
הרישיון בדף הדאטהסט לא דווח באופן רשמי, אם כי בתיעוד יש קישור לרישיון MIT בגיטהאב. עקב חוסר הבהירות הזה, מומלץ לבדוק את זכויות היוצרים של הטקסטים המקוריים לפני שמשלבים אותם במוצר מסחרי.
האם המאגר כולל תמיכה בעברית?
לא, כל הדוגמאות והנתונים המופיעים בתיעוד הם באנגלית בלבד. אם המערכת שלכם מיועדת לעברית, תצטרכו לתרגם את השאלות והקורפוס או לבנות בנצ׳מרק נפרד לחלוטין.
במה המאגר הזה שונה ממאגרי בדיקה רגילים ל־RAG?
הוא מתוכנן ספציפית כדי לאתגר מבני גרף בארבע רמות קושי שונות, מעובדות בודדות ועד הסקה יצירתית. המטרה המוצהרת שלו היא לבודד את המקרים שבהם גרף ידע באמת מספק יתרון על פני חיפוש וקטורי פשוט.
איך טוענים
הנתונים יושבים בקובצי JSON מקומיים תחת התיקיות Datasets/Corpus ו־Datasets/Questions. אין צורך באישור גישה מיוחד כדי למשוך את הקבצים מהמאגר, והפרויקט כולל 30 קבצים הכוללים גם קוד הערכה והרצה.
כדי לעבוד עם הבנצ׳מרק, מייצרים פלט בריצה על המודל שכולל את השדות id, question, source, context, evidence, question_type, generated_answer ו־gold_answer. לאחר מכן מריצים את סקריפטי ההערכה שמסתמכים על קריאות ל־API של OpenAI ומודל שיקוע כמו bge-large-en-v1.5.
from datasets import load_dataset
ds = load_dataset("GraphRAG-Bench/GraphRAG-Bench")הרישיון
בעמוד הראשי של המאגר הרישיון מסומן כלא דווח, אך בתיעוד יש הפניה לרישיון MIT במאגר גיטהאב המקושר. אם אתם מתכננים שימוש מסחרי או אימון מודלים, אי ההתאמה הזו דורשת בדיקה זהירה מול המפתחים כדי לוודא שאין מגבלות זכויות יוצרים על הטקסטים עצמם.