pii-masking-openpii-1.5m
קוד פתוחai4privacyother2026-06-02
מאגר ענק של טקסטים מתויגים להסתרת מידע אישי בשלושים שפות. הוא נותן טקסט מקור, גרסה מצונזרת ותוויות לפי טוקנים שמוכנות ישר לאימון.
- 2,835הורדות בחודש
- 21לייקים
מה זה
המאגר מכיל 1,636,375 רשומות שמחולקות לקובץ אימון עם 1,309,912 דוגמאות וקובץ ולידציה עם 326,463 דוגמאות. כל שורה בפורמט JSONL כוללת טקסט מקורי, טקסט מוסתר עם תוויות חלופיות, מערך של מיקומי הישויות, מזהה ייחודי, שפה, אזור, סקריפט ורשימת טוקנים מחושבת מראש למודלים כמו mBERT עם תוויות בפורמט BIO.
התוכן בנוי כולו ממידע סינתטי שנוצר באמצעות מסגרת העבודה p5y של היוצרים, ולא נאסף מאנשים אמיתיים. הטקסונומיה כוללת 19 תוויות זהות שונות, כשהנפוצות שבהן הן תאריכים, שמות פרטיים ושמות משפחה, לצד מספרי טלפון, תעודות זהות וכרטיסי אשראי שמגיעים בהיקפים קטנים יותר.
מתאים ל
- אימון מודלי NER
זיהוי אוטומטי של ישויות רגישות כמו שמות ומספרי תעודות זהות בטקסטים רב לשוניים.
- פיתוח צינורות אנונימיזציה
החלפת מידע אישי בתגיות שמורות כדי לנקות טקסטים לפני העברתם למודלי שפה חיצוניים.
- בדיקת עמידה ברגולציה
הערכת ביצועי מודלים מול חוקי פרטיות שונים באירופה ובאסיה באמצעות נתוני הולידציה.
איפה זה נופל
כל המידע האישי במאגר סינתטי לחלוטין. אם המודל יפגוש סגנונות כתיבה מורכבים או שגיאות הקלדה אותנטיות שמופיעות בטקסטים אמיתיים, הוא עשוי לפספס ישויות. עברית לא נכללת בשלושים השפות של המאגר, כך שהוא לא יעזור למוצר שמיועד לשוק המקומי ללא איסוף נתונים נפרד. בנוסף, חסרות כאן קטגוריות מתקדמות של מידע רפואי או פיננסי מעמיק, שקיימות רק במאגרים הנפרדים של החברה.
אותה משפחה
pii-masking-openpii יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
כן, תנאי CC-BY-4.0 שמופיעים בכרטיס המאגר מתירים שימוש מסחרי מלא. עליכם רק להקפיד על מתן קרדיט מתאים ל־Ai4Privacy ולחברת Ai Suisse SA, כולל קישור למאגר המקורי. המודלים שתאמנו על הבסיס הזה יכולים לשמש במוצרים מסחריים ללא תשלום תמלוגים.
האם המאגר כולל תמיכה בשפה העברית?
לא, עברית אינה מופיעה ברשימת השפות של המאגר. המאגר מתמקד בעיקר בשפות אירופיות ובהרחבה ייעודית לאזור אסיה פסיפיק כמו יפנית, קוריאנית ווייטנאמית. לפרויקטים בעברית תצטרכו לאסוף או לייצר נתונים ייעודיים באופן עצמאי.
מאיפה הנתונים הגיעו והאם יש בהם מידע על אנשים אמיתיים?
המאגר מבוסס כולו על מידע סינתטי שנוצר באמצעות מסגרת העבודה p5y. אין בו שום פרטים אישיים של אנשים אמיתיים, ולכן אין סיכון של הפרת פרטיות בהחזקת הקבצים. מצד שני, טקסט סינתטי עלול להיות נקי ומסודר מדי בהשוואה לטקסט חי מהשטח.
באיזה פורמט המידע מגיע ואיך מעבדים אותו?
הנתונים מגיעים בשני קבצי JSONL פתוחים לחלוקת אימון וולידציה. כל רשומה כוללת את הטקסט המקורי, את הטקסט הממוסך, וכן מערך של טוקנים ותגיות תואמות ל־mBERT. זה חוסך את שלב הטוקניזציה הראשוני אם אתם מאמנים מודלים מבוססי ארכיטקטורה דומה.
איך טוענים
הנתונים יושבים בשני קבצי JSONL עיקריים, train ו־validation, ללא צורך בהרשאות גישה או אישור מיוחד. הרשומות כוללות כבר טוקניזציה ותוויות BIO עבור mBERT, כך שאין חובה לבצע התאמת טוקנים לתוויות מאפס, אלא אם אתם עובדים עם טוקנייזר אחר וצריכים לחשב את החיתוכים מחדש על פי שדה המיקומים.
from datasets import load_dataset
ds = load_dataset("ai4privacy/pii-masking-openpii-1.5m")הרישיון
הרישיון המדווח במטאדאטה הוא other, אך בתוך כרטיס המאגר היוצרים מגדירים אותו תחת CC-BY-4.0 של חברת Ai Suisse SA. הרישיון מתיר שימוש מסחרי, מחקר, שינוי והפצה מחדש, כולל אימון מודלים. התנאי היחיד הוא מתן קרדיט ברור ליוצרים וקישור למאגר המקור.