open-pii-masking-500k-ai4privacy
קוד פתוחai4privacyother2025-02-24
מאגר נתונים רב-לשוני של כחצי מיליון דוגמאות לזיהוי והסתרת מידע מזהה. הוא נועד לאימון מודלים שמנקים פרטים רגישים מטקסט לפני שמזינים אותו למערכות מבוססות בינה מלאכותית.
- 1,090הורדות בחודש
- 27לייקים
מה זה
המאגר כולל 580,227 רשומות שמחולקות לסט אימון של כ־80 אחוז (464,150 דוגמאות) וסט ולידציה של כ־20 אחוז (116,077 דוגמאות). אורך הטקסט הממוצע קצר ועומד על כ־17 מילים. כל רשומה מגיעה במבנה ג'ייסון שמכיל את הטקסט המקורי, גרסה מושחרת שבה הוחלפו הפרטים בתגיות, טוקנים שפורקו באמצעות מודל mBERT, ותיוג BIO ייעודי למשימות סיווג טוקנים. בסך הכל מתויגים בו מעל חמישה מיליון מופעים של מידע רגיש המחולקים ל־20 מחלקות שונות.
התוכן נוצר ועובד באמצעות שימוש במודלים ממשפחת Llama בגרסאות 3.1 ו־3.3, מתוך כוונה לדמות שיחות וערוצי תקשורת שונים כמו צ'אטים, הודעות דוא"ל וטפסים מקוונים. ההתפלגות הלשונית נשענת בעיקר על אנגלית (כ־26 אחוז) וצרפתית (כ־19 אחוז), לצד גרמנית, ספרדית, איטלקית, הולנדית, ושפות כמו הינדי וטלוגו. החלוקה הגיאוגרפית כוללת ייצוג למדינות כמו שווייץ, הודו, קנדה ומדינות נוספות במערב אירופה וצפון אמריקה.
מתאים ל
- אימון מסווגי טוקנים
כוונון של מודלים כמו BERT או RoBERTa לזיהוי ישויות מזהות לפי תגיות BIO המוכנות מראש בנתונים.
- הסתרת פרטים מזהים בצ'אט
אימון מודלי שפה ג'נרטיביים להמרת טקסט חופשי לגרסה מנוקה מפרטים לפני שליחתו ל־LLM חיצוני.
- בדיקת איכות מערכות אנונימיזציה
הרצת סט הוולידציה כמבחן השוואתי עבור כלים פנימיים שמזהים ומסירים מידע רגיש בארגון.
איפה זה נופל
הנתונים נוצרו בצינור סינתטי שהופעל על מודלי Llama, ולכן הם כוללים תבניות שפה אופייניות למודלים אלה ולא בהכרח טקסט אנושי אורגני. הכרטיס מודה מפורשות שבשפות הינדי וטלוגו קיימות בעיות של חוסר התאמה בין הערכים לכתב המקומי. עברית אינה קיימת כלל במאגר, ואורך הטקסטים קצר יחסית וממוקד במשפטים בודדים, כך שהוא פחות מתאים לזיהוי ישויות במסמכים ארוכים או מורכבים.
שאלות
נפוצות
האם המאגר כולל עברית?
לא. המאגר מכסה שמונה שפות בלבד, ביניהן אנגלית, צרפתית, גרמנית, ספרדית, איטלקית, הולנדית, הינדי וטלוגו. אם אתם צריכים לכסות ישויות ישראליות כמו מספרי זהות או כתובות מקומיות, תצטרכו להשלים נתונים ממקור אחר.
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, אך השימוש כפוף למגבלות רישיון הקהילה של Llama 3.1 ו־3.3. נדרש לעמוד בכללי מדיניות השימוש של מטא, ובמקרה של הפצת מודל שנגזר מהמאגר, חובה להוסיף את המילה Llama לשם המודל ולהציג ייחוס Built with Llama.
איך נוצרו הנתונים במאגר?
הנתונים סונתזו ועובדו באמצעות צינור ייעודי שהתבסס על המודלים Llama 3.1 ו־Llama 3.3 של מטא. הטקסטים אינם תכתובות אמת שנאספו ממשתמשים אלא דוגמאות סינתטיות שנועדו לחקות תרחישים שונים.
מה ההבדל בין גרסה זו לגרסאות האחרות של היוצרים?
גרסה זו מכילה כ־580 אלף רשומות בשמונה שפות עם 20 מחלקות שונות של מידע רגיש. היוצרים פרסמו מאז גרסאות רחבות יותר, הכוללות 1.4 ו־1.6 מיליון דוגמאות עם תמיכה בעשרות שפות נוספות.
איך טוענים
טוענים את הדאטה באמצעות ספריית datasets של Hugging Face בפקודה אחת: load_dataset("ai4privacy/open-pii-masking-500k-ai4privacy"). אין צורך בבקשת גישה מיוחדת, והקבצים יושבים בפורמט JSONL מחולקים לתיקיות train ו־validation. שדות המפתח שחשוב לעבוד איתם הם source_text, גרסת ה־target_text המכילה את המחרוזת המוסתרת, ו־privacy_mask שמגדיר את היסט התווים עבור כל ישות. אובייקטים מקוננים נשמרים כמחרוזות כדי למנוע בעיות תאימות, ולכן צריך לפרסר אותם לפני העבודה.
from datasets import load_dataset
ds = load_dataset("ai4privacy/open-pii-masking-500k-ai4privacy")הרישיון
הרישיון מוגדר כ־other ומחייב ציות לתנאי הרישיון הקהילתי של Llama 3.1 ו־3.3. זה אומר שמותר להשתמש בנתונים למחקר ולפיתוח מסחרי בכפוף למגבלות השימוש של מטא. אם מאמנים או מכיילים מודל על המאגר ומפיצים אותו, חובה לכלול את המילה Llama בתחילת שמו, ולהציג באופן בולט את הייחוס Built with Llama בכל מוצר או ממשק שמבוסס עליו.