TruLens for LLMs

הסקירה

כשמריצים את TruLens, הוא מתיישב על הקריאות של סוכן ה־AI שלכם ורושם כל צעד בנפרד, החל מתוכנית הפעולה, דרך שליפת המידע וכלה בקריאה לכלים חיצוניים. הוא מודד זמני ריצה בכל שלב, סופר טוקנים של קלט ופלט, ומחשב את העלות הכספית המדויקת בדולרים לפי המודל שהופעל. בנוסף לרישום הטכני, הוא מפעיל שופטים מבוססי מודלים שבודקים מדדים כמו רלוונטיות ההקשר, היצמדות לתוכנית ובחירת כלים נכונה, ומחזיר הסבר מילולי מנומק לכל ציון נמוך כדי שתדעו בדיוק היכן הסוכן סטה מהמסלול.

המעקב שקוף לחלוטין.

מה שמבדיל את הכלי מחבילות כמו WandB Weave או RAGAS הוא התבססות טבעית על OpenTelemetry יחד עם התמקדות בפירוק פעולות של סוכנים רב־שלביים. הוא לא מסתפק בבדיקת התוצאה הסופית מול השאלה המקורית, אלא מפרק את המסלול לצעדים נפרדים ובודק אם הכלי הנכון הופעל עם הפרמטרים הנכונים. במבחני השוואה שפורסמו במרץ 2026, הוא דורג ראשון במדדי רלוונטיות הקשר, ותפס 267 מתוך 281 שגיאות בניסויים על סוכנים מול מאגרי TRAIL ו־GAIA, מול 55 אחוזים בלבד שתפס שופט הבסיס. זה שווה את זה רק אם אתם מריצים סוכנים מורכבים בייצור וצריכים הוכחה מדויקת למה תשובה מסוימת נכשלה. לא הייתי משתמש בזה לפרויקטים פשוטים שרק שולחים פרומפט ומקבלים תשובה קצרה.

כמה זה עולה ולמה אין מחיר

קוד המקור מופץ תחת רישיון MIT דרך GitHub עם יותר מ־3,500 כוכבים ו־42 אלף הורדות חודשיות מחבילת הליבה. התקנת ספריית הפייתון trulens אינה עולה דבר, ואתם יכולים להריץ את הניטור והערכות המדדים על התשתית שלכם ללא תשלום לחברה. עם זאת, קיים באתר מסלול בתשלום, אך החברה אינה מפרסמת מחירון מסודר, מדרגות שימוש או תמחור לפי קריאות, כך שאין שום אפשרות לדעת מראש מה גובה העסקה לפני פנייה לנציג. רוב צוותי הפיתוח יתחילו ויישארו בחבילת הקוד הפתוח, שכוללת את השופטים המוכנים והחיבורים לקוד.

אין מחירון גלוי.

מה שבאמת מפריע כאן הוא העלות הנסתרת של הרצת השופטים בעצמכם, נתון שהאתר מעדיף להצניע ברקע. השופטים שמנתחים את הפלטים הם בעצמם מודלים שדורשים טוקנים, ולכן כל בדיקת איכות של הרצה מייצרת חשבון נוסף אצל ספק המודל שלכם. בריצת דוגמה אחת של סוכן תמיכה עם claude-opus-5, נרשמו 502 טוקנים בעלות ישירה של 0.01074 דולר לאותה פעולה בודדת. אם תריצו הערכות מלאות על אלפי אינטראקציות ביום, חשבון ה־API שלכם יתנפח במהירות בלי קשר לשאלה אם שילמתם ישירות ליוצרי הכלי.

עברית והתאמה למערכות מקומיות

כל ממשק הכלי, התיעוד ודפי ההסבר מוצגים באנגלית בלבד, ואין שום התייחסות רשמית לתמיכה ישירה בעברית באתר. עם זאת, מכיוון שהכלי מאפשר להגדיר רובריקות מותאמות, להוסיף דוגמאות אימון ולכוונן הוראות ספציפיות לשופטים, אתם יכולים לנסח בדיקות איכות משלכם שמותאמות לטקסט עברי. הדיוק של שופטי הבסיס בעברית אינו מגובה בנתונים או במבחני ביצועים בחומר הרשמי, ולכן תצטרכו לכייל אותם מחדש בעזרת דוגמאות מקומיות כדי לוודא שהם מבינים הקשר לשוני נכון ולא מורידים ניקוד על ניסוח תקני.

ההתאמה לשוק המקומי דורשת עבודה.

הכלי מתאים לצוותי הנדסת תוכנה שמפתחים מערכות RAG מרובות שלבים או סוכנים עצמאיים שנכשלים בייצור ודורשים איתור שגיאות מעמיק. הוא לא מתאים למנהלי מוצר שמחפשים ממשק גרפי מוכן ללא קוד, וגם לא למי שמפתח צ׳אטבוט בסיסי שלא מפעיל כלים חיצוניים ולא מבצע תוכניות מורכבות. אם אתם לא כותבים קוד בפייתון ולא מנטרים עשרות קריאות מודל בשרשרת, ההטמעה של חבילה כזו תעמיס מורכבות מיותרת על המערכת שלכם.

• רישיון ליבהMIT קוד פתוח
• מחירון מסחרילא פורסם באתר
• גרסה נוכחיתv2.14.0