pii_benchmark
קוד פתוחredmadrobot-rndmit2026-06-09
המאגר כולל 2,841 משפטים ברוסית לבדיקת זיהוי מידע אישי ומסמכים מזהים. הוא מיועד למי שבונה מנגנוני אנונימיזציה או סינון קלט וצריך לבחון מודלים על שמות, כתובות ומספרי תעודות רשמיים.
- 958הורדות בחודש
- 20לייקים
מה זה
הנתונים מיועדים למשימת סיווג טוקנים ומכילים 5,614 מקטעים מתויגים לפי סכמת BIO ברמת הטוקן, בחלוקה ל־21 סוגי ישויות שונים. הישויות מאורגנות בארבע קבוצות עיקריות שכוללות שמות פרטיים, שמות משפחה ושמות אב, כתובות מלאות עד רמת מספר הבית, פרטי קשר ומזהי רשת, ומסמכים מזהים ייחודיים לרוסיה כמו דרכון, מספר משלם מס, תעודת ביטוח פנסיוני, פוליסת בריאות, רישיון נהיגה, תעודת לידה ותעודת חוגר.
המקורות מורכבים משלושה ערוצים. הערוץ הראשון הוא יומני מערכת אמיתיים מסביבות ייצור, שבהם הפרטים המזהים הוחלפו בערכים סינתטיים מקבילים והתיוג נבדק ידנית. הערוץ השני כולל תבניות טקסט סינתטיות של מסמכים רשמיים עם עיוותים ושגיאות הקלדה מכוונות. הערוץ השלישי מכיל דוגמאות גבוליות שנבחרו ידנית כדי לאתגר את המודלים.
מתאים ל
- הערכת זיהוי ישויות
מדידת ביצועי מודלי שפה ו־NER בחילוץ שמות וכתובות מתוך טקסטים ברוסית.
- בדיקת מסנני אבטחה
בחינת מנגנוני סינון קלט לאיתור מספרי דרכונים, כרטיסי אשראי ותעודות זהות רוסיות.
- ולידציה לאנונימיזציה
בדיקת דיוק של תהליכי השחרת מידע רגיש לפני שמכניסים יומני משתמשים למאגרים.
איפה זה נופל
הנתונים כולם ברוסית, בלי שום כיסוי לעברית או לשפות אחרות. מאחר שמדובר בסט מבחן של 2,841 משפטים בלבד, הוא לא מתאים לאימון מודל מאפס אלא רק להשוואת ביצועים ובדיקות. בנוסף, כל המידע האישי האמיתי הוחלף בערכים סינתטיים ובתבניות מסמכים מובנות, כך שהוא עלול לפספס ניסוחים חופשיים או דפוסי שגיאות שלא הוגדרו מראש.
שאלות
נפוצות
האם מותר להשתמש בזה במוצר מסחרי?
כן, הרישיון הוא MIT ולכן אין מגבלה על שימוש מסחרי, מחקרי או פנימי. נדרש רק לשמור על תנאי הרישיון והקרדיט המקורי.
האם הדאטהסט מתאים לעברית?
לא. כל 2,841 המשפטים נכתבו ברוסית וממוקדים במסמכים ובמבנה שמות שרלוונטיים לרוסיה. אם המערכת שלכם עובדת על טקסט עברי, הנתונים האלה לא יעזרו.
האם הנתונים כוללים מידע אמיתי של משתמשים?
הדוגמאות שנלקחו מיומני ייצור עברו החלפה מלאה של הנתונים האמיתיים בפרטים סינתטיים. שאר הנתונים מבוססים על תבניות מסמכים סינתטיות ודוגמאות גבוליות שנבחרו ידנית.
האם אפשר לאמן מודל רק על המאגר הזה?
המאגר מיועד לבנצ'מרק ולבדיקות, ומכיל קובץ מבחן בלבד ללא חלוקה לסט אימון. כדי לאמן מודל תצטרכו דאטהסט ייעודי לאימון או שתשתמשו בו רק להערכת מודלי zero-shot.
איך טוענים
המאגר שמור כקובץ test.csv ומכיל 2,841 שורות, כך שלא מדובר בהורדה כבדה ואין צורך בבקשת גישה מיוחדת או באישור כדי להוריד אותו. המבנה שלו כולל שלוש עמודות: טקסט המקור, רשימת טוקנים שנשמרה כמחרוזת במבנה JSON, ועמודת תוויות תואמת שמכילה רשימת תגי BIO במבנה JSON. לפני שמתחילים להריץ הערכה, צריך לפרסר את מחרוזות ה־JSON בכל שורה כדי להחזיר אותן למערכים של מילים ותגיות. המאגר משמש כסט מבחן בלבד ולא מכיל פיצול לאימון.
from datasets import load_dataset
ds = load_dataset("redmadrobot-rnd/pii_benchmark")הרישיון
המאגר מופץ תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים ומחקריים, לשנות את הנתונים, להפיץ אותם ולשלב אותם בפרויקטים סגורים. הדרישה היחידה היא לשמור על הודעת זכויות היוצרים והרישיון המקורי. מודל שתעריכו או תבדקו מולו אינו מחויב ברישוי פתוח.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש