privy

מה זה

המאגר כולל עשרות אלפי רשומות שמחקות הודעות פרוטוקול אמיתיות כמו JSON, שאילתות SQL עבור PostgreSQL ו־MySQL, וכן קטעי HTML ו־XML. הנתונים לא נלקחו ממשתמשים חיים, אלא הופקו באמצעות כלי שמנתח הגדרות OpenAPI, מחפש מילות מפתח בשדות, ומזריק במקומן ערכים סינתטיים מתוך יותר משישים ספקי מידע שונים.

כל דוגמה במאגר מורכבת מהטקסט המלא, גרסה ממוסכת עם תבניות, ומיקומי הישויות בתוך המחרוזת. הסיווג מבוסס על עשרים ושש תוויות זיהוי ישויות, שכוללות שמות, כתובות, מספרי אשראי, כתובות IP ופרטי זיהוי נוספים. החלוקה הפנימית מתמקדת בעיקר בהקשרים טכניים של פיתוח וניפוי שגיאות, בלי טקסטים חופשיים או שיחות רגילות.

מתאים ל

• אימון מודל למיסוך לוגים

  זיהוי אוטומטי של שמות, כרטיסי אשראי וסיסמאות בלוגים של שרתים ושאילתות בסיסי נתונים.

• בדיקת מערכות אבטחת מידע

  הערכת ביצועים של כלים שמנטרים דליפת מידע רגיש בתעבורת API ופרוטוקולי רשת.

• פיתוח מסנני פרטיות ל־JSON

  אימון מסווגים שמאתרים שדות PII במבני נתונים מורכבים לפני שמירתם בדיסק.

איפה זה נופל

הנתונים כולם באנגלית ומבוססים לחלוטין על סינתזה של מילות מפתח מתוך סכמות, כך שהם לא משקפים שגיאות הקלדה, שפה מדוברת או ניסוחים חופשיים של בני אדם. חלק גדול מפרטי הזיהוי מוטה באופן מובהק לארצות הברית, כמו מספרי ביטוח לאומי, רישיונות נהיגה וחשבונות בנק אמריקאיים. הכרטיס המקורי דל מאוד בפרטים לגבי תהליך הנירמול וההטיות, ואין בו שום תמיכה בשפות אחרות או ישויות ישראליות כמו תעודת זהות.

איך טוענים

טוענים את המאגר ישירות דרך ספריית הנתונים של Hugging Face או על ידי הורדת קובץ ה־ZIP והרצת סקריפט הטעינה privy.py שנמצא במאגר. אין צורך לבקש אישור גישה מיוחד, המאגר פתוח לכולם. השדות המרכזיים שצריך לעבד הם full_text שמכיל את המחרוזת המלאה, ומערך ה־spans שמפרט את סוג הישות, ערכה, ומיקומי ההתחלה והסיום המדויקים שלה בטקסט.

from datasets import load_dataset

ds = load_dataset("beki/privy")

הרישיון

המאגר מופץ תחת רישיון MIT. המשמעות היא שאתם חופשיים להשתמש בו לכל מטרה, כולל אימון מודלים מסחריים ושינוי הנתונים, כל עוד אתם שומרים על הודעת זכויות היוצרים של היוצר. אין חובה לשתף את המודל המאומן או את הנגזרות באותו הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗