LMQL

הסקירה

אתם כותבים שאילתת פייתון, עוטפים אותה במפענח ייעודי ומגדירים למודל שפה בדיוק איזה טיפוס נתונים מותר לו להחזיר. הכלי של מעבדת SRI Lab מבית ETH Zurich הופך את הפנייה למודלים לשפת תכנות מובנית עם טיפוסים, תבניות ומגבלות קשיחות. במקום לשלוח טקסט חופשי ולקוות שהתשובה תהיה מספר שלם או תעצור בנקודה, אתם קובעים תנאי עצירה בלוגיקה של הקוד. השאילתות רצות כפונקציות לכל דבר, ומחזירות משתנים שאפשר לגשת אליהם ישירות בתוך סביבת הפיתוח.

הוא מטפל בבקרת זרימה ישירות מול המודל.

ההבדל המשמעותי מול עבודה רגילה עם ממשקי API מופיע ביכולת האכיפה בזמן אמת. כשמגדירים תנאי בתוך בלוק where, סביבת ההרצה של LMQL דואגת שהפלט יישאר בתחום המותר, בין אם מדובר באורך תווים מקסימלי ובין אם מדובר בבחירה מתוך רשימת מילים סגורה. LMQL מתייחס לפרומפטים כמו לקוד תוכנה עם טיפוסים ולא כמו לטקסט חופשי. המערכת תומכת גם בשאילתות מקוננות, מה שמאפשר לפרק הוראות מורכבות למודולים מקומיים ולהשתמש שוב ושוב ברכיבי הנחיה שכבר בדקתם.

תמיכה בתשתיות והתאמה לפיתוח

הקוד שאתם כותבים לא כבול לספק יחיד. אפשר לעבור בין מודלים שונים בשורת קוד בודדת, והשפה מתאימה את עצמה אוטומטית לתשתית שמוגדרת מאחורי הקלעים. זה עובד מול OpenAI כשצריך מודל מסחרי חזק, ומול מנועים מקומיים כמו Transformers או llama.cpp כשרוצים לחסוך עלויות או לעבוד על שרתים פנימיים ללא גישה לרשת חיצונית. הניידות הזו שווה הרבה כשרוצים להחליף תשתית בלי לשכתב את כל שכבת הפרומפטים מחדש.

לא הייתי משתמש בזה למי שרק מחפש ממשק שיחה פשוט. הכלי פונה בבירור למפתחים שבונים מערכות מורכבות וצריכים שהתשובות יתאימו במדויק למבנה של מסד נתונים או לפונקציה הבאה בתור. אם אתם לא כותבים בתוך Python ולא צריכים שליטה על טיפוסי המשתנים שחוזרים מהמודל, התחביר הזה רק יוסיף לכם סיבוך מיותר. זה פתרון למי שנמאס לו לכתוב סקריפטים של ביטויים רגולריים כדי לנקות טעויות של המודל.

האתר עצמו מוגש כולו באנגלית בלבד.

עלויות ומצב המחירון באתר

הפרויקט פותח כקוד פתוח עם הפניה ישירה למאגר בכתובת GitHub, והאתר הרשמי אינו מציין מחירון או תוכניות תשלום. השימוש בספרייה עצמה פתוח להורדה, אבל זה לא אומר שהריצה לא תעלה לכם כסף. תצטרכו להביא מפתחות גישה עצמאיים ולשלם ישירות לנותני השירות, כמו OpenAI, לפי תעריפי השימוש שלהם. אם תריצו מודלים מקומית דרך llama.cpp, תשלמו בעיקר בזמן עיבוד של החומרה שלכם.

• מחירון באתרלא צוין
• קוד מקורזמין ב-GitHub
• שפת האתראנגלית

לגבי עברית, התיעוד והדוגמאות באתר מבוססים על אנגלית. מאחר שהכלי מתחבר למודלים שונים, היכולת שלו להתמודד עם שפות תלויה במודל שבחרתם להפעיל. עם זאת, אכיפת אורך תווים ומגבלות עצירה עלולה להתנהג אחרת בטקסט עברי בגלל אופן החלוקה של האסימונים במודלים זרים. מה שבאמת מפריע כאן הוא שאין באתר התייחסות ישירה לעבודה מול שפות שאינן נכתבות משמאל לימין.

עבודה נכונה דורשת בדיקה מוקדמת.

לפני שאתם מחליטים לבנות ארכיטקטורה שלמה סביב השפה הזו, כדאי לכם לבדוק עד כמה המגבלות שלכם מייצרות עומס חישובי בזמן אמת. האתר מזמין מפתחים למלא שאלון כדי להשפיע על הגרסה הבאה, מה שמעיד על מוצר שעדיין מתפתח ומשתנה. שווה לקרוא את התיעוד בעמוד של כל ספק מודל ספציפי כדי לראות אילו אילוצים נתמכים בו באופן מלא, כי לא כל תכונה של הספרייה עובדת באותה צורה בכל מנוע.