dbpedia-entity
קוד פתוחBeIRcc-by-sa-4.02022-06-05
המאגר כולל מעל 4.6 מיליון רשומות מתוך DBpedia ומיועד לבדיקת שליפת ישויות. הוא מתאים למי שרוצה לבחון מנוע חיפוש או מודל שליפה על טקסט עובדתי ואנציקלופדי באנגלית.
- 1,026הורדות בחודש
- 18לייקים
מה זה
המאגר בנוי במסגרת בנצ'מרק BEIR ומתמקד במשימת שליפת ישויות, כלומר איתור מאמרים מתאימים מתוך DBpedia עבור שאילתה נתונה. המקור הישיר של הנתונים הוא פרויקט DBpedia-Entity שפותח על ידי קבוצת IAI, והכרטיס הנוכחי לא מפרט תהליכי סינון מיוחדים מעבר למבנה הסטנדרטי של הבנצ'מרק.
המבנה מחולק לשני חלקים עיקריים. החלק הראשון הוא הקורפוס, שמכיל 4,635,922 מסמכים. החלק השני מכיל 467 שאילתות שמיועדות להערכה. בטבלה המשווה של BEIR מצוין פיצול dev ו־test עם 400 שאילתות וממוצע של 38.2 מסמכים רלוונטיים לכל שאילתה.
כל רשומה במאגר, בין אם מדובר במסמך בקורפוס ובין אם בשאילתה, כוללת מבנה קבוע ופשוט של שלושה שדות בלבד, מזהה ייחודי, כותרת וטקסט חופשי.
מתאים ל
- בדיקת ביצועי מנועי שליפה
הרצת מודלי שליפה על 4.6 מיליון מסמכים לבדיקת איכות התוצאות.
- הערכת סיווג Zero-Shot
בחינת מודלים למשימות שיוך טקסט לקטגוריות ללא אימון מוקדם.
- אינדוקס ישויות אנציקלופדיות
בניית אינדקס חיפוש מבוסס ערכי DBpedia לבדיקת עומסי חיפוש.
איפה זה נופל
המאגר כולו באנגלית בלבד. אם המוצר שלכם עובד בעברית, הנתונים כאן לא יעזרו לכם בלי תרגום או התאמה נפרדת. בנוסף, מדובר בטקסטים סטטיים מתוך DBpedia שנאספו עבור בנצ'מרק שפורסם סביב 2021-2022, ולכן ישויות ואירועים חדשים לא מופיעים בו. מעבר לכך, יש כאן רק 467 שאילתות, מה שהופך אותו לכלי מתאים להערכת ביצועים ולא לאימון מודלים מאפס שדורש היקף שאילתות גדול בהרבה.
שאלות
נפוצות
האם המאגר תומך בשפה העברית?
לא. כל הנתונים, גם הקורפוס וגם השאילתות, מופיעים באנגלית בלבד. אם אתם מפתחים פתרון לשוק המקומי בעברית, המאגר הזה לא יתאים ישירות למשימה.
האם מותר להשתמש במאגר למטרות מסחריות?
הרישיון הוא CC-BY-SA 4.0, שמאפשר שימוש מסחרי, אבל מחייב ייחוס ליוצרים ושיתוף תחת אותו רישיון בדיוק. כדאי להתייעץ משפטית לפני אימון מודל שמיועד להפצה מסחרית סגורה.
האם הדאטהסט מתאים לאימון מודל חיפוש גדול?
לא ממש. המאגר מכיל מעל 4.6 מיליון מסמכים אך רק 467 שאילתות להערכה. הוא נבנה כבנצ'מרק לבדיקת יכולות שליפה (zero-shot) ולא כסט אימון רחב.
מה ההבדל בין מאגר זה לחלקים אחרים ב־BEIR?
המאגר מתמקד ספציפית בשליפת ישויות אנציקלופדיות מתוך DBpedia. מאגרים אחרים בבנצ'מרק בודקים משימות כמו אימות עובדות, מענה על שאלות או כפילויות, בעוד שכאן מדובר באיתור ישויות מוגדרות.
איך טוענים
הנתונים יושבים בארבעה קבצים במאגר, כולל קובצי Parquet נפרדים לקורפוס ולשאילתות. אין צורך באישור גישה מיוחד כדי להוריד אותם, וניתן למשוך אותם ישירות או דרך ארכיון ה־ZIP שמסופק בקישור החיצוני. שימו לב שהקורפוס כולל יותר מ־4.6 מיליון שורות, כך שצריך לקחת בחשבון את נפח הזיכרון והזמן שייקח לאנדקס אותו במנוע החיפוש. השדות שמעניינים אתכם בקוד הם `_id`, `title` שלעיתים נשארת כמחרוזת ריקה, ו-`text` שמכיל את תוכן המסמך או השאילתה.
from datasets import load_dataset
ds = load_dataset("BeIR/dbpedia-entity")הרישיון
המאגר מופץ תחת רישיון CC-BY-SA 4.0. הרישיון מאפשר שימוש מסחרי, אבל דורש מתן קרדיט מתאים ליוצרים ושיתוף של יצירות נגזרות תחת אותו רישיון בדיוק. אם אתם מאמנים מודל על הנתונים או מפיצים גרסה מעובדת של הדאטהסט, חובת השיתוף הזהה עשויה לחול עליכם, ולכן כדאי לבדוק את ההשלכות המשפטיות לפני שילוב במוצר מסחרי סגור.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון