privacy-filter — הדגמה

מה זה

מדביקים טקסט חופשי לתיבת הקלט ומקבלים שתי תצוגות: טקסט מסומן בצבעים לפי סוג המידע שזוהה, וגרסה מושחרת לגמרי לצד סיכום של הישויות שנמצאו. יש בממשק גם דוגמאות מוכנות שבודקות עמידות בשפות שונות מעבר לאנגלית.

מתחת לממשק רץ מודל ייעודי לסיווג טוקנים דו כיווני עם מיליארד וחצי פרמטרים בסך הכל ורק חמישים מיליון פעילים. הוא לא מייצר מילים חדשות אחת אחרי השנייה כמו צ'אט, אלא מנתח את כל הקלט במעבר יחיד, מחשב הסתברויות על שמונה קטגוריות פרטיות ומחלץ את המקטעים המדויקים בעזרת אלגוריתם ויטרבי וקובץ כיול ייעודי.

מתאים ל

• השחרת נתונים לפני עיבוד

  ניקוי פרטים מזהים מקבצי טקסט ארוכים באנגלית לפני העברתם למודלי שפה חיצוניים.

• בדיקת איכות הזיהוי

  השוואה מהירה בין הטקסט המקורי לקטגוריות שסומנו כדי לבחון התאמה לצורכי הארגון.

• הסרת שמות ופרטי קשר

  מחיקת כתובות ונתונים אישיים מתוך תכתובות ויומני שיחה שמיועדים לשיתוף.

איפה זה נופל

המודל פותח ונבדק בעיקר באנגלית. למרות שיש דוגמאות רב לשוניות בממשק, הסתמכות עליו לזיהוי שמות או כתובות ישראליות בעברית עלולה להסתיים בפספוסים של ממש. בנוסף, בהדגמה הזאת אין שליטה על נקודות האיזון בין דיוק לכיסוי שקיימות בקוד המקור.

איך מריצים

השימוש פשוט: מדביקים טקסט, לוחצים על כפתור הזיהוי וההשחרה, והתוצאות מופיעות מיד בלי צורך בחשבון או בהתחברות. ההדגמה רצה על גבי מעבד גרפי ייעודי מסוג A10G דרך חומרת שיתוף, כך שהעיבוד לוקח שניות בודדות, אם כי בעומס כבד ייתכן תור קצר בהקצאת המשאב.

pip install -U huggingface_hub
hf download openai/privacy-filter

הקבצים

25 קבצים במאגר, 16.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors2.8 GB
• original/model.safetensors2.8 GB
• onnx/model_fp16.onnx_data2.1 GB
• onnx/model.onnx_data_11.9 GB
• onnx/model.onnx_data_21.9 GB
• onnx/model.onnx_data1.8 GB
• onnx/model_quantized.onnx_data1.6 GB
• onnx/model_q4.onnx_data917.1 MB
• onnx/model_q4f16.onnx_data809.1 MB
• onnx/model_fp16.onnx_data_1741.4 MB
• tokenizer.json27.9 MB
• onnx/model_q4f16.onnx165.7 KB
• onnx/model_quantized.onnx162.2 KB
• onnx/model_q4.onnx160.2 KB
• onnx/model_fp16.onnx142.9 KB
• onnx/model.onnx137.7 KB
• README.md11.1 KB
• model.sig8.7 KB
• original/dtypes.json4.1 KB
• config.json3.0 KB
• .gitattributes2.1 KB
• original/config.json707 B
• original/viterbi_calibration.json372 B
• viterbi_calibration.json372 B
• tokenizer_config.json234 B

הרישיון

הפרויקט מופץ תחת רישיון אפאצ'י שתיים, שמאפשר שימוש מסחרי, שינוי קוד והרצה פנימית בארגון. הטקסט שאתם מזינים בדפדפן נשלח לשרת שמארח את ההדגמה, כך שלמידע רגיש באמת עדיף להוריד את המשקולות ולהריץ בסביבה מבודדת.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗