OBLIQ-Bench
קוד פתוחdianetccc-by-4.02026-05-06
חבילת מבחנים לשליפת מידע שבודקת מנועי חיפוש על שאילתות עקיפות ומרומזות. מתאימה למי שרוצה לאתגר מודלי אחזור במקומות שבהם התאמת מילים רגילה נכשלת לחלוטין.
- 1,101הורדות בחודש
- 17לייקים
מה זה
המאגר מחולק לחמש משימות שונות שנשענות על שלושה מנגנונים של חיפוש עקיף: שאילתות תיאוריות, שאילתות של מבנה מקביל, וחיפושים שמבוססים על זיכרון מעורפל. המשימות כוללות זיהוי עמדות מובלעות בציוצים בטוויטר, איתור כשלי שיחה מול בינה מלאכותית מתוך מאגר שיחות, מציאת בעיות מתמטיות בעלות אסטרטגיית הוכחה זהה, זיהוי סגנון כתיבה של אותו מחבר בנושאים נפרדים, והתאמת זיכרון מעורפל לקטע מדויק מתוך דיונים בקונגרס האמריקאי.
המבנה של כל משימה כולל קובצי טקסט נפרדים שמחלקים את המידע לקורפוס, שאילתות ושיפוטי רלוונטיות. בכל שורה בקורפוס יש מזהה וטקסט, ובשאילתות יש גם מטא-דאטה שייחודי למשימה. שיפוטי הרלוונטיות מגיעים בפורמט טבלאי של תקן הערכה מקובל, ובחלק מהמשימות נוסף קובץ שמגדיר מזהים ספציפיים שחובה לסנן מהתוצאות בזמן הריצה כדי למנוע דליפת מידע מאותו מקור.
מתאים ל
- מבחן ביצועים למנועי שליפה
בדיקת היכולת של מנועי אחזור וחיפוש וקטורי להתמודד עם שאלות מורכבות ללא התאמת מילים ישירה.
- אימון מודלי שיפוט ודירוג
אימון ובדיקה של מודלים מדרגים שתפקידם לזהות קשרים עקיפים וסגנוניים בין שאילתה למסמך.
- איתור כשלים בשיחות בינה
שימוש בתת המאגר של השיחות לפיתוח שיטות לזיהוי בעיות התנהגות עקביות במודלי שפה.
איפה זה נופל
הנתונים כולם באנגלית בלבד, כך שהם לא עוזרים לבדיקת שליפה בעברית. רוב המשימות נשענות על מקורות מאוד ספציפיים כמו שיחות עם מודלים, פרוטוקולים פוליטיים וציוצים, ולכן הביצועים שתראו כאן לא בהכרח מייצגים חיפוש במסמכים ארגוניים פנימיים. נוסף לכך, קובצי ההערכה המורחבים נבנו בעזרת מודל חשיבה ששפט את התוצאות, מה שמכניס למבחן את ההטיות הפנימיות של אותו מודל.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון הוא CC-BY-4.0 ומאפשר שימוש מסחרי מלא. הדרישה היחידה היא לתת קרדיט למחברים המקוריים של המאגר. אינכם מחויבים לשחרר את המוצר או המודל שלכם תחת אותו רישיון.
האם המאגר כולל תמיכה בעברית?
לא, כלל הנתונים והשאילתות במאגר מופיעים באנגלית בלבד. אם המערכת שלכם מיועדת לעברית, המאגר לא ישקף את האתגרים הלשוניים שלה. תוכלו להשתמש בו רק לבחינת מתודולוגיית השליפה הכללית.
במה הוא שונה ממאגרי שליפה סטנדרטיים?
במאגרים רגילים יש כמעט תמיד חפיפת מילים או הקשר נושאי ברור בין השאילתה לתוצאה. כאן נבחנת שליפה שבה הרלוונטיות מבוססת על תכונות עקיפות כמו סגנון כתיבה, עמדה פוליטית מרומזת או מבנה לוגי מופשט, כך שהתאמה ישירה נכשלת.
איך נאספו התוצאות הנכונות לשאילתות?
לכל משימה נבנו שיפוטי זהב ייעודיים שנשמרים בקובצי qrels.tsv. לצדם מופיע קובץ שיפוטים מורחב שהופק בעזרת מודל חשיבה שבדק תוצאות ממספר מערכות שליפה כדי לאתר מסמכים רלוונטיים נוספים.
איך טוענים
טוענים את הקבצים ישירות מהמאגר ללא צורך באישור גישה מוקדם. סך הכל יש 24 קבצים שמפוצלים לפי התיקיות של המשימות השונות. הקורפוסים מגיעים בקובצי JSONL עם שדות id ו־text, השאילתות בקובצי JSONL דומים, ושיפוטי הרלוונטיות בקובצי TSV. כדי להריץ הערכה תקינה צריך לטעון את קובצי ה־qrels ולחשב מדדים כמו NDCG ו־Recall, ובמשימות המתמטיקה וסגנון הכתיבה חובה לטעון גם את קובץ ה־JSON של המזהים המוחרגים כדי לחסום מסמכים שמגיעים מאותו מקור של השאילתה.
from datasets import load_dataset
ds = load_dataset("dianetc/OBLIQ-Bench")הרישיון
המאגר מופץ תחת רישיון CC-BY-4.0 שמתיר שימוש מסחרי, שינוי והפצה ללא הגבלה, כולל שילוב במוצרים מסחריים ואימון מודלים. התנאי היחיד הוא מתן קרדיט ברור למחברים וציון הרישיון. אין חובה לשתף נתונים חדשים או מודלים שתאמנו תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס