Cleanlab

הסקירה

Cleanlab בודק כל תשובה שיוצאת ממודל שפה בזמן אמת ומצמיד לה ציון אמינות מספרי. כשבוט שירות לקוחות עונה ללקוח, הכלי בוחן אם הטקסט שנפלט נשען על המידע האמיתי שלכם או מומצא לחלוטין. במקום לנחש אם המודל דייק, מקבלים מדד שמפריד בין עובדות לטעויות גסות. הוא מתחבר ישירות לסביבות עבודה כמו Langfuse או Arize ובודק את הנתונים ברקע בלי להחליף את המודל עצמו. הכלי מתאים למי שמריץ סוכני בינה מלאכותית ומפחד מתביעות או מלקוחות זועמים.

הוא יודע לסמן שלוש בעיות מרכזיות שהורסות מערכות שיחה. הבעיה הראשונה היא הזיות, מצב שבו המודל פשוט ממציא תאריכים או עובדות יש מאין. השנייה היא הקשר שגוי, שקורה כשבסיס הידע מכיל את התשובה הנכונה אבל המערכת שלפה פסקה לא רלוונטית וענתה ממנה תשובה עקומה. השלישית היא פערי ידע, מצב שבו אין בכלל מידע מתאים במאגר והסוכן פולט שאינו יודע. כל בעיה מקבלת תיוג ברור כדי שתדעו בדיוק איפה הצינור נשבר.

איך עובד החישוב הפנימי

מאחורי הציון עומד שילוב של כמה שיטות בדיקה ולא רק מודל שופט רגיל. הכלי מייצר כמה תשובות אפשריות כדי לבדוק עקביות ולראות אם המודל סותר את עצמו בניסוחים שונים. במקביל הוא מנתח הסתברויות של מילים בתוך הטקסט ומפעיל הערכה עצמית של המודל לגבי רמת הביטחון שלו. הם משלבים בזה שיטות חישוב אי־ודאות פרטיות שלהם שמסווגות כאי־ודאות אפיסטמית ואלאטורית. התוצאה הסופית מתנקזת למספר אחד ברור.

המדד הזה מקל על ההחלטה מתי להעביר שיחה מנציג וירטואלי לנציג אנושי. ציון האמינות קובע אם התשובה תגיע ישירות למשתמש הקצה או תיעצר מיידית לבדיקה אנושית. בצילום מסך מתוך החומר שלהם מוצגת לקוחה ששאלה על החזרת עגילים, והסוכן השיב שמותר להחזיר באריזה מקורית. המערכת סימנה ציון נמוך של 0.53 והסבירה שהמדיניות אוסרת החזרה מטעמי היגיינה. במקום לפלוט טעות ללקוחה, השיחה מועברת מיד להמשך טיפול של מוקדן בשר ודם.

זה עובד בזמן אמת.

האתר מציג השוואות ביצועים מול שיטות בדיקה נפוצות אחרות בתעשייה על פני כמה מאגרי בדיקה. לפי הנתונים שלהם, בדירוג AUROC הכלי מגיע לתוצאה של 0.91 בזיהוי הזיות, בעוד ששיטת LLM-as-a-judge מגיעה ל־0.78, ומדדי RAGAS עומדים על 0.70 ו־0.53. הם טוענים גם לדיוק גבוה פי שלושה בזיהוי תשובות שגויות במערכות שליפת מידע, ושיפור של 34 אחוז במשימות היגיון ורפואה. הבדיקות נערכו על ארבעה מאגרים מוכרים כולל CovidQA, DROP, FinanceBench ו־PubmedQA.

זמני תגובה וקוד פתוח

הם מציעים חמש הגדרות איכות שונות כדי לאזן בין רמת הדיוק לבין זמני השיהוי והמחיר. אפשר להגדיר מודלים מהירים שמאפשרים לקבל זמני תגובה של החל מ־300 מילישניות, נתון קריטי בצ'אט חי שלא יכול לחכות שניות ארוכות. הכלי תומך ביותר מחמישה עשר מודלי הערכה שונים ומאפשר להתאים את רמת ההעמקה לתקציב. מה שבאמת מפריע כאן הוא חוסר השקיפות סביב המחיר המסחרי, מפני שהאתר מפנה ישירות לתיאום הדגמה אצל אנשי מכירות.

הבסיס הוא קוד פתוח, אבל החבילה המסחרית המנוהלת דורשת שיחה איתם. אם אתם צוות קטן שבונה מוצר פנימי, כנראה שתעדיפו להתחיל מספריות הקוד הפתוח שלהם ולא לשלם על שירותי ענן יקרים לפני שראיתם ערך אמיתי. אין באתר מחירון מסודר בדולרים או שקלים, וזה תמיד סימן לכך שהתמחור גמיש ותלוי בכוח המיקוח שלכם. לא הייתי פונה לתיאום הדגמה לפני שהרצתי בדיקה מקומית על נתונים משלי.

הכלי מדבר כולו אנגלית.

התיעוד והאתר מתנהלים באנגלית מלאה, וכל מבחני הביצועים והדוגמאות נשענים על שפה זו בלבד. אין שום תיעוד רשמי שמסביר איך שיטות בדיקת ההסתברות וההקשר שלהם עובדות מול שפה שמית מורכבת כמו עברית. זה שווה את זה רק אם עיקר המערכת שלכם עובד באנגלית או אם תבדקו היטב את תיוג ההזיות על טקסט עברי לפני שתכניסו אותו למוצר חי. ללא בדיקה עצמאית כזו, אתם עלולים לקבל ציוני אמינות שגויים לחלוטין.

השילוב שלו בסביבת הפיתוח דורש רק כמה שורות קוד לפי מדריכי השימוש. אפשר לחבר אותו ישירות לספריות ניטור מובילות כמו mlFlow ו־Langtrace, או לסביבות הרצה מתקדמות עם חומרת NVIDIA. המשמעות היא שאתם לא צריכים לשכתב את כל שכבת האפליקציה כדי להתחיל לבדוק את התשובות. החיבור מהיר, אבל הוא לא פותר את הצורך להגדיר מה בדיוק אתם עושים כשתשובה מקבלת ציון נמוך ומחייבת התערבות.

• קוד פתוחזמין לשימוש חופשי
• מחירון באתראין, נדרשת הדגמה
• זמן תגובההחל מ־300 מילישניות