KnowEdit
קוד פתוחzjunlpmit2024-01-01
המאגר מרכז מבחנים לעריכת ידע במודלי שפה בלי לאמן אותם מחדש. הוא מתאים למי שרוצה לבדוק שיטות כמו ROME או MEMIT על החדרת עובדות, תיקון הזיות ומחיקת מידע.
- 766הורדות בחודש
- 24לייקים
מה זה
הנתונים מחולקים לשש משימות שונות שנאספו והורחבו ממאגרים קיימים: ZsRE לשאלות ותשובות, WikiData Recent לעובדות עדכניות, WikiData Counterfact לעובדות סותרות, WikiBio לטיפול בהזיות, ConvSent לשינוי סנטימנט, ו־Sanitation למחיקת מידע לא רצוי.
המבנה של הרשומות כולל נושא, פרומפט, תשובת מקור, ויעד חדש לעריכה. בנוסף יש שדות לבדיקת שינוע הידע והמקומיות שלו, כלומר לוודא שהשינוי חל על שאלות מקבילות בלי לשבור ידע אחר במודל.
המאגר עצמו כולל קובצי JSON נפרדים לכל משימה. היקף הרשומות נע בין 80 דוגמאות בלבד במשימת Sanitation ועד מעל 14 אלף דוגמאות אימון במשימת ConvSent.
מתאים ל
- הערכת שיטות עריכת ידע
בדיקת אלגוריתמים כמו ROME ו־MEMIT על מודלי שפה פתוחים.
- תיקון הזיות במודלים
אימון ובחינת מודלים על תיקון עובדות שגויות באמצעות WikiBio.
- בדיקת שכחת מידע ממוקדת
הערכת היכולת למחוק ידע ישן או לא רצוי דרך משימת Sanitation.
איפה זה נופל
כל הטקסטים במאגר הם באנגלית בלבד, ואין כאן תמיכה בעברית או בשפות אחרות. חלק מהמשימות קטנות מדי, כאשר משימת מחיקת המידע מכילה 80 דוגמאות אימון ו־80 דוגמאות בדיקה בלבד, מה שמקשה לקבל מובהקות סטטיסטית אמינה.
חוסר האחידות במבנה קובצי ה־JSON דורש עיבוד מקדים פרטני לכל משימה. לא הייתי בונה על המאגר כבדיקת איכות יחידה למוצר, אלא רק כמבחן בסיסי לביצועי אלגוריתמי עריכה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקטים מסחריים?
כן, הרישיון המדווח הוא MIT ולכן הוא מתיר שימוש מסחרי מלא. עליכם לכלול את הצהרת זכויות היוצרים המקורית של הפרויקט בכל הפצה. אין מגבלה על שימוש בתוצרי המודלים שנבדקו.
האם יש במאגר דוגמאות בעברית?
לא, המאגר מוגדר ומכיל טקסטים באנגלית בלבד. כל העובדות, השאלות ומבחני הסנטימנט נאספו ממקורות דוברי אנגלית כמו ויקיפדיה. אם אתם עובדים על מודל בעברית, תצטרכו לתרגם את הנתונים או לבנות מבחן ייעודי.
איך הנתונים נאספו והורכבו למאגר?
היוצרים אספו וארגנו מחדש מאגרים פתוחים קיימים כמו ZsRE, WikiBio, ConvSent ו־TriviaQA. הם הגדירו מחדש את הפורמט עבור שש משימות של החדרת ידע, שינוי עובדות ומחיקתן. לחלק מהמשימות נוספו בדיקות שינוע ומקומיות של המידע שנערך.
איך טוענים
טוענים את הקבצים ישירות דרך ספריית EasyEdit בעזרת המחלקה KnowEditDataset. כל משימה שמורה בקובץ JSON משלה, ללא צורך באישור גישה או הרשמה מוקדמת.
שימו לב שהמבנה הפנימי אינו אחיד בין הקבצים השונים. תצטרכו להגדיר את סוג הנתונים המתאים בסקריפט ההרצה ולהתאים ידנית שדות כמו portability ו־locality לפני שתוכלו להריץ הערכה בפועל.
from datasets import load_dataset
ds = load_dataset("zjunlp/KnowEdit")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש מסחרי, שינוי והפצה של הנתונים כמעט ללא הגבלה, בתנאי ששומרים על הודעת זכויות היוצרים המקורית. אפשר להשתמש בו לאימון והערכת מודלים פנימיים או מסחריים בלי חובה לשתף את הקוד תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש