rebel-dataset

מה זה

כל רשומה מייצגת משפט בודד מתוך פסקת הפתיחה של ערך בוויקיפדיה באנגלית, לצד שלשות יחסים שמקשרות בין נושא, יחס ומושא. השלשות מיוצגות כטקסט עם תגיות מיוחדות שמפרידות בין החלקים השונים. בנוסף, כל דוגמה כוללת מזהה ייחודי שמורכב ממזהה הדף ומספר המשפט, לצד כותרת הערך.

היוצרים בנו את המאגר באמצעות שילוב בין עותק של ויקיפדיה לעותק של ויקינתונים דרך צינור עיבוד אוטומטי. כדי לצמצם רעש שנובע מחיבור אוטומטי של עובדות למשפטים, הם העבירו את השלשות סינון בעזרת מערכת היסק שפה טבעית שהסירה יחסים שהטקסט לא תומך בהם. המאגר מחולק לשלושה חלקים, כאשר סט האימון כולל 3,120,296 משפטים, וסט הבדיקה וסט האימות כוללים כל אחד 5% מהמידע המקורי, עם 173,601 ו־172,860 משפטים בהתאמה.

מתאים ל

• אימון מקדים לחילוץ יחסים

  אימון מודלי שפה מסוג רצף לרצף להפקת שלשות של עובדות ישירות מתוך משפטים באנגלית.

• בניית גרפי ידע מטקסט

  חילוץ קשרים מובנים בין ישויות מתוך מסמכים כדי להזין מאגרי ידע מבוססי גרף.

• הערכת מודלי שפה גנרטיביים

  בדיקת היכולת של מודלים לחלץ עובדות מדויקות על 220 סוגי היחסים הנפוצים.

איפה זה נופל

התיוג כולו אוטומטי ומבוסס על השגחה מרחוק, ולכן הנתונים מוגדרים ברמת איכות נמוכה יותר מתיוג אנושי. היוצרים מציינים במפורש שמודל שמאומן רק עליו עלול לייצר הזיות, וממליצים עליו בעיקר לאימון מקדים. בנוסף, התוכן מוגבל לאנגלית בלבד, ומשקף את ההטיות וחוסר האיזון הקיים בבחירת הערכים בוויקיפדיה ובוויקינתונים. אם אתם בונים מערכת למוצר סופי, תצטרכו להעריך את הביצועים מול נתונים ידניים מדויקים.

איך טוענים

טוענים את המאגר ישירות דרך הספרייה בעזרת המזהה, ללא צורך באישור גישה מראש. קובץ ההורדה שוקל 1490.02 מגה בייט, והדאטהסט שנוצר שוקל 1199.27 מגה בייט, כך שנדרשים בערך 2.7 גיגה בייט של מקום פנוי בדיסק. השדות העיקריים שצריך לעבד הם השדה שמכיל את המשפט הגולמי והשדה שמכיל את השלשות המשורשרות. הטקסט כולל תגיות ייעודיות לסימון הנושא, המושא והשלשה, ולכן צריך להגדיר אותן כטוקנים מיוחדים בטוקנייזר לפני שמתחילים באימון.

from datasets import load_dataset

ds = load_dataset("Babelscape/rebel-dataset")

הרישיון

במטא דאטה של המאגר רשום רישיון פתוח, אך בתוך הטקסט של הכרטיס היוצרים מגבילים את השימוש למחקר לא מסחרי בלבד תחת רישיון שיתוף זהה. לא הייתי בונה על זה מוצר מסחרי בגלל הסתירה הזו וההגבלה המפורשת לשימוש מחקרי. אם תשתמשו בו לפיתוח מודל, תצטרכו לתת ייחוס ליוצרים, ואם הרישיון המחמיר חל, תידרשו לשתף נגזרות תחת אותם תנאים מגבילים.

• שימוש מסחרי
• שינוי הקוד
• חובת שיתוף באותו רישיון

הרישיון המלא ב־Hugging Face ↗