text-data-filtering

מה זה

היישום טוען קובצי נתונים בפורמט ג'ייסון שמכילים דוגמאות טקסט עם סטטיסטיקות מחושבות מראש. לפי הקוד, המערכת משתמשת בספריות פנדס ונאמפיי לעיבוד טבלאי, לצד מודולים פנימיים בשם filtering ושימוש במזהי שפות מתוך קובץ ייעודי.

בפועל אתם מקבלים תצוגה של טבלאות נתונים שעברו סינון, כולל מדדים שמראים כמה דוגמאות נשארו מתוך סך השורות ואת האחוז המדויק שלהן מהמאגר. הקוד כולל גם ייבוא של מטפלוטליב, מה שמעיד על הפקת גרפים ותרשימים לצד הנתונים היבשים.

הממשק נשען על קבצים מקומיים לפי שפה שמכילים טקסטים יחד עם המדדים שלהם. הנתונים מוצגים בטבלאות אינטראקטיביות של סטרמליט שמאפשרות לראות את הדוגמאות שעונות על התנאים שהוגדרו.

מתאים ל

• בדיקת איכות של מאגרי טקסט

  צפייה בדוגמאות מתוך קובצי נתונים לפי חיתוכים סטטיסטיים ואחוזי התאמה.

• בחינת סינון לפי שפות

  מעבר על דוגמאות טקסט שקושרו למזהי שפה שונים כדי לבדוק את יעילות המדדים.

• לימוד מבנה סקריפט לסינון

  קריאת הקוד שמממש את מודולי הסינון המותאמים בשילוב סטרמליט ופנדס.

איפה זה נופל

הבעיה הבולטת ביותר היא שהדף תקוע על שגיאת ריצה, כך ששום דבר לא עובד כרגע בגרסה הציבורית ברשת. אי אפשר לבדוק עליו טקסטים חדשים בלי להריץ את המאגר עצמאית.

מעבר לכך, הקוד מתבסס על קובצי סטטיסטיקה מוכנים מראש לפי שפה ולא מבצע עיבוד של טקסט חופשי שאתם מקלידים במקום. לא מדובר במודל שפה שמסנן תוכן בזמן אמת, אלא בסקריפטים של חיתוך נתונים סטטיסטיים קיימים.

איך משתמשים

נכנסים לעמוד דרך הדפדפן, בוחרים את השפה או הפרמטרים הרצויים, והטבלאות אמורות להסתנן בהתאם לתנאים. אין צורך בחשבון או בהתחברות כדי לגשת לעמוד.

האפליקציה רצה על חומרת מעבד בסיסית, כך שחישובים כבדים עלולים לקחת זמן או להיתקע. הבעיה המרכזית כרגע היא שהיישום מוגדר במצב של שגיאת ריצה, ולכן אי אפשר להשתמש בו ישירות בדפדפן בלי לתקן את הקוד תחילה.

הרישיון

הרישיון של המאגר לא דווח. המשמעות היא שאין הרשאה ברורה להשתמש בקוד, להעתיק אותו לפרויקטים מסחריים או להפיץ אותו מחדש. לגבי המידע שמוצג, הוא מסתמך על קבצים פנימיים שנכללים בפרויקט המקורי.

הרישיון המלא ב־Hugging Face ↗