data-measurements-tool
רץ בדפדפןhuggingfaceרישיון לא דווח2022-03-02
בודקים סטיסטיקות ומדדים שונים על מאגרי נתונים לפני שרצים לאמן מודלים. מתאים למי שרוצה להבין מה באמת מכיל הטקסט שלו במקום לנחש.
- —הורדות בחודש
- 100לייקים
מה זה
במקום להריץ סקריפטים ידניים לבדיקת נתונים, פותחים את הדפדפן ומקבלים תצוגה של מדדים וסטטיסטיקות על דאטהסטים. הממשק נבנה כדי להציג חלוקות של תכונות, התפלגויות וחתכים שונים בטקסט, ומסתמך בין היתר על מאגר ההדגמה HuggingFaceM4/OBELICS.
מאחורי הקלעים רצים מודלים ורכיבים כמו sentence-transformers/all-mpnet-base-v2 לצד 3morg/assets וספריות פנימיות של מדידת נתונים. המודל של sentence transformers משמש בדרך כלל ליצירת וקטורים והבנת דמיון בין משפטים, כך שאפשר לאתר תלויות או דפוסים סמנטיים ולא רק לספור מילים פשוטות.
הקוד עצמו נשען על חבילות ייעודיות לחישוב סטטיסטיקות ומציג תפריט צדדי שדרכו בוחרים את המאגר ואת המדדים שרוצים לנתח בפועל.
מתאים ל
- בדיקת איכות נתונים
מאתרים חוסר איזון, כפילויות ומאפיינים סטטיסטיים בטקסט לפני תחילת אימון.
- ניתוח סמנטי של טקסט
מפיקים ייצוגים בעזרת מודל השפה המובנה כדי לבחון קרבה ודמיון בין משפטים.
- בחינת מאגר OBELICS
חוקרים את המאגר שמגיע כדוגמה במערכת כדי לראות איך נראים המדדים בפועל.
איפה זה נופל
ההגדרה רצה על מעבד רגיל בלבד, מה שמגביל מאוד ניתוח של כמויות טקסט ענקיות בזמן סביר. בנוסף, התיעוד מצהיר שהעמוד נמצא תחת עבודה ולא הכל מסונכרן. כדאי לבדוק אם המאגר שאתם צריכים נתמך ישירות ולא להסתמך על זה ככלי מלא לייצור לפני שמוודאים שהמדד שחיפשתם אכן חושב עד הסוף.
שאלות
נפוצות
האם השימוש עולה כסף?
לא, הגישה בדפדפן פתוחה בחינם לכולם. החומרה שמוקצית להרצה היא מעבד בסיסי שמסופק ללא תשלום.
האם אפשר להריץ את זה מקומית?
כן, הקוד כתוב בפייתון עם סטרימליט. אפשר למשוך את הקבצים ולהריץ אותם על המחשב שלכם, במיוחד אם רוצים חומרה חזקה יותר ממעבד בסיסי.
כמה זמן לוקח לנתח נתונים?
זה תלוי בגודל הטקסט ובמדד שנבחר. בגלל שהשרת משתמש במעבד בסיסי ללא כרטיס מסך, מודל השפה ירוץ לאט יותר על קבצים גדולים.
מה קורה לתוכן שאני מעלה?
הרישיון של המרחב לא צוין ולא פורטו תנאי פרטיות. אם יש לכם מידע רגיש או סודי, עדיף לא להעלות אותו להדגמה ציבורית.
איך משתמשים
ניגשים לממשק בסטרימליט דרך הדפדפן בלי צורך בהתקנה מקומית. בצד העמוד יש סרגל לבחירת נתונים ומדדים, ושם קובעים מה לחשב.
החומרה שמוקצית כאן היא מעבד בסיסי בלבד ללא מאיץ גרפי. חישוב מדדים כבדים או עיבוד מודל הטקסט על כמויות גדולות עלולים לקחת זמן, אז לא כדאי לצפות לתוצאות מיידיות ברגע שלוחצים.
הרישיון
הרישיון של הפרויקט לא דווח כלל במאגר. כשאין רישיון מוגדר, אין היתר שימוש ברור בקוד או בתוצרים שלו לצרכים מסחריים, ומומלץ לבדוק את מקור הנתונים שלכם לפני שמעבדים אותם שם.