pii-masking-openpii-1m
קוד פתוחai4privacyother2026-03-27
מעל 1.4 מיליון דוגמאות טקסט סינתטיות ב־23 שפות אירופיות לאימון מודלים של זיהוי והסתרת פרטים מזהים. הוא מציע תיוג מדויק של 19 סוגי ישויות וטוקנים מוכנים מראש לטרנספורמרים.
- 2,068הורדות בחודש
- 15לייקים
מה זה
המאגר מציע 1,428,143 רשומות שמחולקות לשני קבצים, 1,143,397 דוגמאות לאימון ועוד 284,746 לבדיקה. כל רשומה כוללת את הטקסט המקורי, גרסה מוסתרת עם תגיות במקום המידע הרגיש, מערך מפורט של מיקומי הישויות וסוגיהן, וטוקנים מחולקים מראש בשיטת BIO המתאימים למודלים מבוססי mBERT. הנתונים מכסים 19 קטגוריות זיהוי נפוצות, החל משמות פרטיים ומשפחה, דרך מספרי תעודות זהות ודרכונים, ועד כתובות וכרטיסי אשראי, עם סך כולל של 10,328,208 תוויות.
הטקסטים כולם סינתטיים ונוצרו במסגרת שיטה שהיוצרים מכנים p5y, במטרה לדמות מידע אישי אמיתי בלי לחשוף נתונים של אנשים חיים. החומר מכסה 29 אזורים גאוגרפיים, כולל מדינות אירופיות לצד ארצות הברית, קנדה, מקסיקו והודו. הכרטיס לא מפרט באילו מודלים בדיוק חוללו את המשפטים, אלא מציג את החלוקה לשפות ואת פריסת הישויות הסופית.
מתאים ל
- אימון מודלי NER רב-לשוניים
משמש לבניית מודלי שפה שמזהים שמות, כתובות ומספרי זיהוי ב־23 שפות אירופיות.
- פיתוח כלי הסתרה לרגולציה
מאפשר לבנות מערכות אנונימיזציה אוטומטיות לטקסטים כדי לעמוד בדרישות כמו GDPR.
- בדיקת עמידות מודלים לחשיפה
משמש להערכת מודלי שיחה כדי לוודא שאינם פולטים פרטים אישיים רגישים.
איפה זה נופל
הנתונים כולם סינתטיים, מה שאומר שהמודל שלכם עלול להחמיץ מבנים לשוניים מורכבים, שגיאות הקלדה אמיתיות וסלנג שלא נלכדו בהפקה הממוחשבת. הכיסוי מוגבל ל־19 ישויות בסיסיות, ללא מידע רפואי או פיננסי מעמיק שדורש דאטהסטים אחרים שלהם. אין עברית במאגר, השפות ממוקדות באירופה, כך שלמוצר מקומי בישראל הוא לא יתאים בלי התאמות חיצוניות ותרגום.
אותה משפחה
pii-masking-openpii יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. הרישיון המפורט בכרטיס הוא CC-BY-4.0 שמתיר שימוש מסחרי מלא, כולל אימון מודלים סגורים. הדרישה היחידה היא מתן קרדיט ל־Ai4Privacy וקישור למקור.
האם הדאטהסט כולל שמות וכתובות בעברית?
לא, המאגר מתמקד ב־23 שפות אירופיות בלבד ואינו כולל עברית. שימוש בו לפרויקט מקומי בישראל יחייב אימון נוסף על נתונים בשפה המקומית.
האם יש סכנה של חשיפת אנשים אמיתיים מהנתונים?
לא, כל הרשומות הופקו באופן סינתטי ואינן מבוססות על נתוני אמת של משתמשים. המטרה המוצהרת של הפרויקט היא לאפשר אימון בלי להסתכן בפגיעה בפרטיות.
איך הנתונים מחולקים ומאורגנים בקבצים?
המאגר מגיע בשני קובצי JSONL, אחד לאימון עם כ־1.14 מיליון דוגמאות ואחד לוולידציה עם כ־284 אלף דוגמאות. כל שורה מכילה טקסט גולמי, טקסט מוסתר ותיוגים מוכנים ברמת התו והטוקן.
איך טוענים
טוענים את הנתונים ישירות מקובצי JSON Lines שנמצאים בתיקיית data, אחד לאימון ואחד לוולידציה. אין צורך לבקש אישור גישה או להמתין למפתח API, המאגר פתוח להורדה מיידית. בזמן העיבוד, השדות המרכזיים לעבודה הם source_text, privacy_mask שנותן את מיקומי התווים המדויקים, ורשימות ה־BIO המוכנות למי שמאמן מודלי טוקניזציה בלי לעשות עיבוד מקדים משלו.
from datasets import load_dataset
ds = load_dataset("ai4privacy/pii-masking-openpii-1m")הרישיון
למרות שבמטא-דאטה מופיע סיווג כללי, גוף הכרטיס מגדיר בבירור רישיון CC-BY-4.0 של Ai Suisse SA. מותר להשתמש בנתונים למחקר ולמטרות מסחריות, לשנות אותם ולהפיץ אותם הלאה. התנאי היחיד הוא מתן קרדיט ברור ליוצרים וקישור למאגר, כך שמודל שאימנתם עליו חופשי לשילוב במוצר שלכם.