Kiln

הסקירה

מורידים את אפליקציית הדסקטופ של Kiln, פותחים אותה על macOS, Windows או Linux, ומחברים ישירות מאגר Git מקומי. במקום לשלוח פרומפטים בענן של מישהו אחר, כל הדאטה נשאר אצלכם בקבצים פיזיים על המחשב. פיתוח מבוסס מודלי שפה דורש בדיקות איכות שוטפות, והסביבה הזו מרכזת יצירת מבדקים, הרצת פרומפטים מול מודלים שונים ואופטימיזציה אוטומטית. מי שרוצה להריץ משימות מתוך הקוד עצמו מקבל ספריית Python בקוד פתוח עם רישיון MIT, שדורשת גרסת Python 3.10 ומעלה.

זה עובד מקומי לחלוטין.

איך עובדים המבדקים בפועל

במקום להמציא בדיקות ידניות באקסל או לכתוב סקריפטים נפרדים, אתם מגדירים דרישה מילולית והמערכת מייצרת פרומפט שופט עם דאטה סינתטי בתוך כחמש דקות. הכלי תומך בהערכות מסוג LLM-as-Judge וגם בשיטת G-Eval עם שקלול הסתברויות, ובודק התאמה לציוני אדם לפי מדדי מתאם כמו Kendall Tau או Spearman. המטרה העיקרית פה היא להפסיק לנחש איזה פרומפט עובד ולהתחיל למדוד אותו מול דאטה אמיתי. אפשר לבדוק גם שליפת מידע במערכות RAG מול מסמכי מקור ולוודא קריאות תקינות לכלים חיצוניים.

השופט בודק כל שינוי.

ההבדל המשמעותי בין Kiln למוצרים אחרים בתחום הוא הגישה לאחסון המידע. רוב הכלים המתחרים הם שירותי ענן מלאים ששואבים את המידע שלכם לשרתים מרוחקים, בעוד שכאן הדאטהסטים והערכות האיכות מסתנכרנים ישירות דרך מאגר הגיט של הפרויקט. מנהלי מוצר ומומחי תוכן יכולים לתת ציונים ולבנות מבדקים דרך הממשק הגרפי בלי לכתוב שורת קוד אחת. מצד שני, מהנדסים משלבים את אותן משימות בסביבת פרודקשן בעזרת חבילת הקוד הפתוח, בלי תלות בתשתיות ענן קנייניות של ספק יחיד.

כמה זה עולה ואיפה המגבלות

המסלול הבסיסי ליחידים ניתן להורדה בחינם וכולל את אפליקציית הדסקטופ, ספריית הקוד הפתוח וסנכרון Git מקומי. המסלול הזה מספק גם גישה לשירות Kiln Pro עם מודלים סטנדרטיים ומגבלת קצב מסוימת. צוותים שרוצים מודלים מתקדמים יותר ואופטימיזציה אוטומטית של סוכנים צריכים לבקש גישה למסלול Team, כאשר ארגונים גדולים מופנים למסלול Enterprise בהתאמה אישית שמוסיף חיבור SSO, חוזים שנתיים ותמיכה ייעודית. לא הייתי משתמש בזה לפרויקטים שחייבים מחירון שקוף מראש, כי המחיר לצוותים פשוט לא מפורסם באתר.

• מסלול יחידחינם להורדה
• קוד ספרייהרישיון MIT פתוח
• מחיר לצוותלא מפורסם באתר

המחיר האמיתי נשאר מעורפל.

מבחינת התאמה, הכלי מתאים במיוחד למפתחים וצוותי הנדסה שרוצים למדוד שגיאות באופן כמותי ולשמור את כל המידע הרגיש בתוך התשתית שלהם. הוא מעולה למי שמשלב קריאות למודלים מקומיים דרך כלי כמו Ollama לצד ספקים כמו OpenAI, ומחפש דרך נוחה לבצע fine-tuning או השוואת ביצועים. לעומת זאת, הכלי לא מתאים למי שמחפש רק ממשק צ'אט מהיר לסגירת משימות יומיומיות, או למי שאין לו מושג איך לנהל סביבת פיתוח מקומית.

לגבי עברית, האתר כולו והתיעוד כתובים באנגלית בלבד, ואין שום אזכור לתמיכה ייעודית בשפות שאינן אנגלית או בהתאמות לטקסט מימין לשמאל. המודלים שמעריכים את הפלטים עשויים לתפקד פחות טוב כשהם שופטים ניסוחים מורכבים בעברית, מה שמחייב אתכם לבדוק ידנית את כיול השופט מול ציוני אדם. כדאי לכם להתקין את גרסת החינם, לחבר את המודלים שלכם ולהריץ מבחן קטן על טקסט עברי לפני שמקבלים החלטה.