semantic-deduplication

מה זה

מזינים שם של מאגר נתונים מ־HuggingFace, בוחרים את החלוקה הרצויה כמו train או test, ומגדירים את שם עמודת הטקסט. אפשר לנקות כפילויות בתוך מאגר בודד, או להשוות בין שני מאגרים שונים כדי להסיר ממאגר המבחן דוגמאות שמופיעות כבר במאגר האימון. בסיום התהליך המערכת מציגה סטטיסטיקות וטבלה עם חמש דוגמאות שממחישות הבדלי מילים בין טקסטים שנמצאו דומים.

מאחורי הקלעים רצה ספריית SemHash יחד עם מודל ההטמעות potion-base-8M מבית Model2Vec. במקום להשוות טקסטים בצורה עיוורת לפי תווים מדויקים, המודל מייצר וקטורים סטטיים שמזהים ניסוחים שונים עם משמעות זהה. ברירת המחדל לדמיון עומדת על 0.9, אך ניתן להזיז את הסליידר מ־0 עד 1 כדי להחמיר או להקל בסינון.

מתאים ל

• מניעת זליגת נתונים

  הסרת דוגמאות ממאגר בדיקה שדומות סמנטית לדוגמאות ממאגר האימון כדי לקבל הערכת ביצועים נקייה.

• צמצום כפילויות במאגר

  סינון משפטים עם ניסוחים מקבילים בתוך דאטהסט יחיד לצורך חיסכון בזמן אימון של מודלים.

• בדיקת איכות מדגמית

  בחינת טבלת ההבדלים המוצגת בסיום כדי להבין עד כמה הטקסטים במאגר חוזרים על עצמם בניסוח שונה.

איפה זה נופל

אי אפשר להעלות קובץ מקומי ישירות מהמחשב דרך הממשק, אלא רק לטעון מאגר שקיים כבר ב־Hugging Face. המודל potion-base-8M קטן ומהיר במיוחד אבל אינו מודל שפה ענק, כך שהוא עלול לפספס הקשרים מורכבים או למחוק משפטים עם משמעות הפוכה אך מבנה דומה. בנוסף, העלאת התוצאה הסופית שומרת אותה כמאגר פומבי תחת החשבון שלכם, מה שלא מתאים למידע פנימי או רגיש.

איך משתמשים

בוחרים בסוג הסינון, מקלידים את שמות המאגרים והעמודות, קובעים את הסף ולוחצים על Deduplicate. אין צורך בהתחברות כדי להריץ את הניקוי עצמו ולראות את התוצאות. עם זאת, התשתית יושבת על חומרת cpu-basic בסיסית, כך שמאגרים כבדים במיוחד ייקחו זמן ועלולים להיתקל במגבלות זיכרון. אם רוצים להעלות את התוצאה בחזרה ל־Hugging Face, מתחברים בחשבון דרך כפתור ה־OAuth, מזינים שם למאגר החדש ולוחצים על Push to Hub.

הרישיון

הקוד מופץ תחת רישיון MIT שמאפשר שימוש חופשי, העתקה ושינוי, כולל לצרכים מסחריים. מאגרי המידע שאתם דוחפים חזרה ל־Hub נוצרים כפומביים תחת שם המשתמש שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗