Langfuse

הסקירה

Langfuse מתעד כל קריאה למודלי שפה בסביבת הייצור, ומחשב את זמני התגובה ואת עלויות הטוקנים בזמן אמת. כשאתם שולחים פרומפט דרך הקוד שלכם, הוא בונה עץ קריאות מלא של כל הפעולות בשרשרת, כולל קריאות משנה, שימוש בכלים ומשתני הקשר. במקום לחפש שגיאות בלוגים עיוורים של שרתי אינטרנט רגילים, אתם מקבלים צילום מצב מפורט שמראה בדיוק איפה המודל התבלבל, איזה שלב לקח יותר מדי זמן, וכמה כסף עלתה כל שיחה ספציפית של משתמש קצה. המערך הזה חוסך ניחושים כשמנסים לתקן סוכני בינה מלאכותית מורכבים.

הוא מיועד למפתחים שבונים יישומים עם מודלי שפה וצריכים לנטר אותם בקוד.

מה קורה בתוך הקוד

בניגוד לכלי ניטור שרתים כלליים שלא מבינים שיחות או טוקנים, Langfuse נבנה ישירות סביב הרעיון של ניסויים ומעקב אחר טקסט. הוא כולל ניהול גרסאות לפרומפטים, ומאפשר לכם להריץ בדיקות על מערכי נתונים ישירות מתוך ממשק משתמש ייעודי או דרך ספריית פיתוח ב־Python או ב־JavaScript. הוא גם כולל סביבת בדיקות אינטראקטיבית כדי להשוות מודלים שונים בלי לגעת בקוד. זה שווה את זה רק אם אתם מריצים סוכנים מורכבים בייצור וצריכים לדעת איפה בדיוק הם נכשלים. בלי תשתית כזו, קשה לדעת למה סוכן פתאום מייצר הזיות או נתקע בלולאה אינסופית.

זה לא עובד על קסמים.

אם אתם מפתחים מוצר שמיועד לקהל ישראלי ועובד בעברית, קחו בחשבון שהאתר, התיעוד וכל ממשק הניהול של Langfuse מוצגים באנגלית בלבד. הכלי עצמו יודע לקבל ולשמור מחרוזות בעברית בתוך הקלטים והפלטים בלי לשבור את המבנה, אך תכונות מתקדמות של הערכה אוטומטית שמשתמשות במודל בתור שופט תלויות במודל השפה שבחרתם. במקרים שבהם נדרשת הערכה אנושית של שיחות בעברית, הצוות שלכם יצטרך לבצע תיוג ידני בתוך תורי הסימון של המוצר. השליטה בטקסטים דורשת בדיקה עצמאית.

לא הייתי משתמש בזה לאפליקציה בסיסית שמבצעת רק קריאת API פשוטה.

כמה זה עולה בפועל

מסלול Hobby בענן הוא חינמי לגמרי, אינו דורש כרטיס אשראי, וכולל 50,000 יחידות מדידה בכל חודש עם גישה להיסטוריית נתונים של 30 ימים עבור שני משתמשים בלבד. אם אתם צריכים סביבת עבודה לצוות גדול יותר עם שמירת נתונים ל־90 ימים, מסלול Core עולה 29 דולר לחודש, וכולל 100,000 יחידות. כל חריגה מהמכסה במסלול זה תעלה לכם 8 דולר נוספים לכל 100,000 יחידות, כאשר העלות יורדת ככל שנפח השימוש החודשי גדל. לרוב הפרויקטים בתחילת הדרך, מסלול Core מספק את כל מה שצריך בלי הוצאות כבדות.

המחיר קופץ מהר מאוד.

לחברות שדורשות שמירת נתונים של שלוש שנים, תמיכה בתקני אבטחה מחמירים ומגבלות קצב גבוהות יותר, מסלול Pro מתחיל ב־199 דולר לחודש. תוסף צוותים מוסיף עוד 300 דולר לחודש עבור התחברות ארגונית, ומסלול Enterprise כבר מזנק ל־2,499 דולר לחודש. מי שרוצה שליטה מוחלטת במידע או מחזיק בדרישות רגולטוריות נוקשות יכול להוריד את גרסת הקוד הפתוח ולהתקין אותה בעצמו באמצעות קונטיינרים של Docker. במקרה כזה, עלויות הריצה של מסדי הנתונים והאחסון חלות עליכם באופן ישיר.

• גרסה חינמיתקיימת בענן
• קוד פתוחהתקנה עצמית מלאה
• מסלול ארגוני2499 דולר לחודש