Lunary

הסקירה

השורה lunary.monitor(client) בתוך קוד פייתון מחברת את קריאות ה-API של מודל השפה אל לוח הבקרה בלי שתצטרכו לשכתב את הלוגיקה של האפליקציה. החיבור רץ בצורה אסינכרונית כדי לא להוסיף השהיות לקריאות המקוריות מול ספקי המודלים. Lunary מקליט את הפרומפטים שנשלחו, את התשובות שהתקבלו, את זמני הריצה של סוכנים מורכבים ואת התגיות שהמשתמשים השאירו על השיחה. הוא מזהה חריגות ושגיאות בזמן אמת, ומציג למפתחים לוג מלא של שרשראות קריאה כדי לאתר הזיות של צ'אטבוטים לפני שהן מגיעות למשתמשי קצה בארגון.

מי שבונה סוכנים אוטונומיים בלי מעקב רציף אחר קריאות רץ בעיוורון מוחלט על תקציב המחשוב שלו. הפעלה של סוכן שמבצע משימות מרובות שלבים יוצרת רצף של קריאות חוזרות לספקי תשתיות שונים, וקשה להבין איפה דברים נשברים כשאין תיעוד מדויק של כל צעד. Lunary רושם כל שגיאה בתוך ה-stack trace ומאפשר לסנן שיחות לפי נושאים שהוגדרו אוטומטית או לפי שביעות רצון של לקוחות. זה לא תחליף לבדיקות תוכנה מסורתיות, אבל זה חוסך חיטוט ידני בקבצי לוג ענקיים כשמשתמש מדווח על תשובה שגויה.

מעקב תקלות וניהול פרומפטים

איתור באגים הוא רק חלק מהעניין. הממשק כולל עורך תבניות לפרומפטים שמאפשר לאנשי צוות שאינם מתכנתים לעדכן ניסוחים, לנהל גרסאות ולהריץ בדיקות A/B בלי לגעת ישירות בקוד של המערכת. אפשר להריץ ניסויים ב-Playground ייעודי לפני שמעלים שינויים לפרודקשן, לייצא נתונים בפורמט JSONL ישירות לצורך fine-tuning של מודלים מבית OpenAI, ולסווג שיחות לפי נושאים כדי להבין אילו שאלות חוזרות על עצמן. בנוסף קיים מנגנון להסתרת מידע מזהה כדי למנוע דליפה של פרטים אישיים אל שרתי הניטור.

חיבור מהיר של שורה אחת עובד מצוין. עם זאת, התבניות דורשות לפעמים שליחה ידנית של מזהה תבנית בקוד כדי שהמערכת תזהה אותן בלוח הבקרה.

מבחינת עברית, הממשק כולו מוצג באנגלית בלבד. האתר מציין שהכלי מזהה שפות שונות שבהן המשתמשים כותבים, אבל אין התייחסות ספציפית לטיפול בטקסט מימין לשמאל או להתאמה דקדוקית מקומית. אם אתם בונים שירות שמיועד לקהל ישראלי ומשוחח בעברית, לוג השיחה יוצג בממשק האנגלי ואיכות החיפוש או סיווג הנושאים תלויה באופן שבו המודל שחיברתם מעבד את הטקסט. תצטרכו לבדוק בעצמכם איך נראים טקסטים ארוכים בעברית בתוך לוחות הבקרה.

כמה זה עולה באמת

המנוי מתחיל במסלול חינמי של 0 דולר לחודש שכולל משתמש בודד, עד 3 פרויקטים, שמירת היסטוריית לוגים ל-30 יום ומגבלה של 10k אירועים בחודש. מסלול Team עולה 20 דולר למשתמש לחודש, וכולל 50k אירועים לחודש, שמירת נתונים לשנה, פרויקטים ללא הגבלה, עד 10 מושבים וגישה ל-Playground עם 1000 שאילתות חודשיות. חריגה מהאירועים במסלול זה עולה 10 דולר לכל 50k אירועים נוספים, ושאילתות עודפות ב-Playground עולות 0.05 דולר לכל שאילתה.

מה שבאמת מפריע כאן הוא שחריגה של יומיים רצופים מהמכסה תגרום להגבלת החשבון שלכם עד שתשדרגו או שתרדו חזרה מתחת לרף לשלושה ימים רצופים. הנתונים עדיין נשמרים בזמן החריגה, אבל הגישה אליהם נחסמת. לא הייתי משתמש בזה לפרויקט פרודקשן בלי לוודא מראש שנפח השיחות שלכם לא מתקרב לקצה המכסה החודשית, בעיקר כשסוכנים אוטונומיים מייצרים בקלות אלפי אירועים ביום.

המחיר קופץ מהר מאוד בסוכנויות. תוכנית לסוכנויות מתחילה מ-400 דולר לחודש, בעוד תוכנית Enterprise דורשת תמחור מותאם אישית מול המכירות.

• מסלול התחלתיחינם ל-10k אירועים
• מסלול Team20 דולר למשתמש
• חסימת חריגהאחרי יומיים רצופים

התקנה עצמית ואבטחת מידע

השרתים של גרסת הענן יושבים באירופה ועומדים בתקני GDPR, יחד עם הסמכות אבטחה של SOC 2 Type II ו-ISO 27001. יתרון משמעותי עבור צוותים בארץ שמתמודדים עם דרישות פרטיות הוא האפשרות להתקנה עצמית. גרסת הבסיס הפתוחה, Community Edition, ניתנת להתקנה עצמית בחינם על השרתים שלכם. לעומת זאת, התקנה ארגונית מלאה בתוך סביבת VPC עם Kubernetes או Docker, יחד עם תמיכה ב-SSO ו-SAML, שמורה רק למסלול Enterprise בתשלום מותאם אישית.

השרת העצמאי פותר דאגות רגולציה. הנתונים נשארים לחלוטין אצלכם בלי לעבור דרך שרתי ענן חיצוניים.