iepile
קוד פתוחzjunlpcc-by-nc-sa-4.02024-02-22
מאגר שמסדר מחדש עשרות סטים של חילוץ מידע באנגלית ובסינית לפורמט הוראות אחיד. הוא נועד לאימון מודלי שפה על משימות ישויות, יחסים ואירועים תחת סכמה מוגדרת.
- 1,090הורדות בחודש
- 41לייקים
מה זה
המאגר מאחד 26 דאטהסטים באנגלית ועוד 7 בסינית לתחום חילוץ המידע, בהיקף כולל של כ־0.32 מיליארד תוקנים. המקורות מכסים תחומים כלליים, רפואה ופיננסים, וכוללים סטים מוכרים כמו CoNLL2003, CASIE ו־CrudeOilNews. החוקרים הוציאו מהגרסה הפומבית נתונים שמקורם ב־ACE2005 בגלל מגבלות גישה, ודורשים פנייה ישירה במייל למי שמחזיק ברישוי מתאים.
כל דוגמה בנויה מארבעה שדות מרכזיים: המשימה, שם דאטהסט המקור, הוראה בפורמט מחרוזת ג'ייסון שכוללת סכמה וטקסט קלט, ותוצאה צפויה במבנה מילון. תהליך הבנייה כלל פירוק שאילתות לקבוצות של ארבע עד שש סכמות והזרקת תוויות שליליות בעלות דמיון סמנטי, כדי לחדד את יכולת ההפרדה של המודל.
מתאים ל
- אימון מודלים לחילוץ ישויות
כוונון עדין של מודלי שפה לזיהוי ישויות לפי רשימת קטגוריות סגורה בטקסטים באנגלית או בסינית.
- חילוץ יחסים ואירועים
אימון לחילוץ קשרים בין ישויות וזיהוי אירועים מוגדרים מראש מתוך מאמרים כלליים, רפואיים ופיננסיים.
- בדיקת אפס דוגמאות לסכמות
הערכת ביצועי מודלים במשימות שבהן מגדירים סכמות חדשות בזמן הריצה בלי אימון ייעודי נוסף.
איפה זה נופל
ההוראות בנויות באופן קשיח סביב סכמות מוגדרות מראש, כך שהמודל שתאמנו עליו יתקשה להתמודד עם פקודות בשפה חופשית שלא כוללות רשימת טיפוסים מפורשת. המאגר אינו מתאים למי שמחפש חילוץ מידע פתוח ללא תבנית. בנוסף, הכיסוי מוגבל לחלוטין לאנגלית ולסינית בלבד, ואין בו שום תוכן בעברית. אם תרצו להשתמש במידע שהגיע במקור מ־ACE2005, תצטרכו להשיג אישור עצמאי ולפנות ליוצרים כדי לקבל גישה לחלק החסר.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא, הרישיון המוצהר הוא cc-by-nc-sa-4.0 אשר אוסר במפורש שימוש מסחרי. בנוסף, חלק מהנתונים שנאספו ממאגרים מקוריים כפופים להגבלות מחמירות יותר. אם תאמנו מודל על הנתונים הללו, לא תוכלו להפיק ממנו רווח או לשלב אותו במערכת מסחרית.
האם המאגר כולל טקסטים בעברית?
המאגר מכיל אך ורק טקסטים באנגלית ובסינית, כפי שצוין בתיעוד ובמבנה התיקיות. אין בו דוגמאות או סכמות בשפה העברית. אם אתם זקוקים למודל שעובד בעברית, תצטרכו לתרגם את הנתונים או לאסוף סט נפרד.
איך נאספו הנתונים וממה הם מורכבים?
החוקרים אספו וניקו 26 דאטהסטים קיימים באנגלית ו־7 בסינית ממקורות אקדמיים בתחומי החדשות, הרפואה והפיננסים. הם המירו אותם לפורמט אחיד של הוראות ופלט, ושילבו דוגמאות שליליות קשות כדי ללמד את המודל להבדיל בין תוויות דומות.
מדוע חסרים חלק מהנתונים בגרסה הפומבית?
הנתונים שמבוססים על מאגר ACE2005 הוסרו מהגרסה הציבורית כדי לעמוד בתנאי זכויות היוצרים שלו. מי שמחזיק בהרשאה מתאימה יכול לפנות למחברים במייל כדי לקבל את הקבצים המלאים. עבור שאר המקורות, המידע נגיש ישירות להורדה.
איך טוענים
הנתונים מחולקים למבנה תיקיות לפי שפות (IE-en ו־IE-zh), תתי משימות, וקובצי פיצול ברמת המאגר כמו train.json ו־dev.json. אין צורך באישור מיוחד להורדה מהעמוד הציבורי בהאגינג פייס. קובצי הנתונים הם JSON שבו שדות ה־instruction וה־output מקודדים בעצמם כמחרוזות JSON, ולכן תצטרכו לבצע פריקה כפולה כדי לחלץ את הטקסט, הסכמות והתשובות בזמן האימון.
from datasets import load_dataset
ds = load_dataset("zjunlp/iepile")הרישיון
המאגר מופץ תחת רישיון cc-by-nc-sa-4.0 שמחייב ייחוס ושיתוף באותם תנאים, אך אוסר כל שימוש מסחרי. מודל שתאמנו על הנתונים האלה לא יוכל לשמש מוצר מסחרי. בנוסף, היוצרים מדגישים שחלקים מהדאטהסטים המקוריים כפופים לתנאי רישוי מחמירים יותר, והתנאים האלה גוברים.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא