MALLET

הסקירה

מורידים קובץ ארכיון, מתקינים סביבת Java, ומריצים פקודות ישירות מחלון הטרמינל על קובצי טקסט גולמיים שנמצאים בדיסק המקומי. אין כאן דשבורד, אין כפתור הרשמה ואין שום ממשק גרפי מודרני בענן. MALLET הוא חבילת קוד פתוח ותיקה שנבנתה כדי לנתח טקסטים באמצעות אלגוריתמים סטטיסטיים מוכרים. הקוד כולו רץ אצלכם על המחשב או על השרת הפרטי, בלי תלות ברשת ובלי מנוי חודשי. אתם מזינים לתוכו מסמכים, והוא מחלץ מהם תבניות, נושאים וסיווגים לפי הגדרות מוגדרות מראש.

הבסיס של העבודה מתחיל בהכנת הנתונים דרך שרשרת עיבוד פנימית שמכונה pipes. הצינורות האלה מפרקים מחרוזות למילים בודדות, מנקים מילות עצירה מיותרות, וממירים את כל המלל למספרים ווקטוריים שמודלים חישוביים מסוגלים להבין ביעילות. אחרי שהטקסט מומר למספרים, אפשר להפעיל עליו מסווגים כמו Naïve Bayes, Maximum Entropy, או עצי החלטה. החבילה מכילה גם כלים לבדיקת איכות הסיווג לפי מדדים מקובלים, כך שרואים במדויק איך המודל מתמודד מול קבוצות נתונים שלמות.

איך המנוע מנתח טקסטים

מה שבאמת מפריע כאן הוא העובדה שאין שום אזכור לתמיכה מובנית בשפות שנכתבות מימין לשמאל או בעברית. פירוק המילים ומחיקת מילות עצירה מותאמים במקור לאנגלית, ולכן תצטרכו להכין מראש קובצי החרגה מתאימים ולבדוק את התוצאות בעצמכם. אם אתם עובדים על מחקר בעברית, צפויה לכם עבודת הכנה ידנית ולא מעט בדיקות של תוצרי הביניים. זה שווה את זה רק אם יש לכם צורך בניתוח נושאי סטטיסטי בקנה מידה עצום בלי לשלם על קריאות שרת חיצוניות. התוצאות תלויות לחלוטין באיכות הקלט שתספקו.

בכל הקשור לחילוץ ישויות ותיוג רצפים, הערכה כוללת מודלים מבוססי Conditional Random Fields וגם רשתות מרקוב. המנגנונים האלה בנויים מעל מערכת שמאפשרת הרחבה למודלים של אוטומטים סופיים. בנוסף יש חבילת הרחבה נפרדת שנקראת GRMM, שמוסיפה יכולת הסקה במודלים גרפיים כלליים ואימון של מבנים גרפיים שרירותיים. רמת השליטה בקוד גבוהה מאוד. לא הייתי משתמש בזה לפרויקט שדורש תוצאה מהירה בעוד שעה, כי העסק הזה דורש רקע טכני והבנה מתמטית ממשית במידול סטטיסטי.

ההתקנה דורשת סבלנות.

מידול נושאים ואופטימיזציה

בצד של מידול נושאים, החבילה מציעה מימושים יעילים מבוססי דגימה עבור Latent Dirichlet Allocation לצד אלגוריתמים מתקדמים יותר כמו Pachinko Allocation וגם Hierarchical LDA. הכלים האלה מיועדים למציאת נושאים משותפים בתוך כמויות ענקיות של מסמכים שלא תוייגו מעולם. מאחורי הקלעים פועלת אופטימיזציה נומרית מובנית, שכוללת מימוש יעיל של Limited Memory BFGS יחד עם שיטות חישוב נוספות. הדיוק החישובי נשען על מחקר מעמיק ולא על קיצורי דרך מודרניים. האלגוריתמים עובדים מהר מאוד על טקסט באנגלית ומספקים פירוק נושאי עקבי ומובנה.

אין כאן תמיכה טכנית מסודרת.

הקוד זמין תחת רישיון Apache 2.0, מה שאומר שהוא פתוח לשימוש חופשי לחלוטין למטרות מחקריות וגם לשימוש מסחרי ללא תשלום. אין גרסת פרימיום, אין מדרגות שימוש ואין חשבונות אשראי. הדרישה היחידה של היוצרים היא לתת קרדיט מדעי באמצעות ציטוט של אנדרו מקאלום משנת 2002. לכן, אם אתם מפתחים או חוקרים שמחפשים פתרון עצמאי שרץ על שרתים פנימיים בלי להוציא אגורה, זה פתרון יציב וחינמי לגמרי שאינו תלוי בספקים חיצוניים.

זה לא יתאים למנהלי תוכן, למשווקים או לצוותים שצריכים ממשק אינטרנטי עם כניסה מהירה דרך הדפדפן. כדי לעבוד כאן מוכרחים לדעת להריץ שורות פקודה, להבין בארכיטקטורת Java ולדעת לקרוא תיעוד טכני ישן. מי שמחפש פתרון לניתוח טקסט בלחיצת כפתור ימצא את עצמו מתוסכל מול קובצי הגדרות מורכבים. לעומת זאת, לחוקרי אקדמיה ולמהנדסי נתונים שרוצים לנתח ארכיונים ענקיים במחיר אפס, החבילה הזו עושה את העבודה בצורה ישירה וללא תיווך מיותר.

• מחיר רישיוןקוד פתוח חינם
• ממשק גרפישורת פקודה בלבד
• רישוי מסחריApache 2.0 מאושר