Answering Legal Questions with LLMs

הסקירה

המנגנון הזה לוקח מסמך חקיקה אירופי בודד בן 226 עמודים, מפרק שאלה משפטית סבוכה לתת-שאלות ומריץ סדרת שיחות אוטונומיות כדי להרכיב תשובה מלאה ומנומקת. במקום להשליך טקסט עצום לתוך חלון הקשר יחיד ולקוות לטוב, הוא מפעיל סוכן ראשי שמייצר תוכנית עבודה של עורך דין בכיר ומחלק את המשימות לסוכנים זוטרים שרצים במקביל דרך קריאות לפונקציות. כל סוכן מקבל רק את הנספח או הסעיף הרלוונטי, בדרך כלל בהיקף של עד 5,000 טוקנים, ומחלץ ציטוטים מדויקים מהמקור. התוצאה הסופית מחזירה ניתוח רחב שמסביר אילו חלקים ברגולציה חלים על המקרה שלכם ואילו מוחרגים ממנו.

הוא דורש סבלנות.

איך זה עובד בפועל

כל שאילתה עוברת דרך מסמך מובנה בפורמט Markdown כדי שהמודל יוכל לנתח 80,000 טוקנים בלי לאבד את הצפון. הסוכן הראשי מייצר תוכנית עבודה שמכסה קטגוריות סיכון, בודק סעיפי הגדרה ומריץ לולאת while עד שכל תת-שאלה נענית במלואה. הגישה הזו מייצרת בידוד מוחלט לכל שלב, ומאפשרת לסוכן המשני לחזור עם תשובה ממוקדת על נספח ספציפי במקום להסתבך עם כל החוק בבת אחת. למרות התחכום במבנה הזה, הוא לא יחליף עורכי דין בזמן הקרוב בגלל כשלים לוגיים מהותיים בתרחישים לא טריוויאליים. המפתחים עצמם מודים בגלוי שהתוכנה סובלת ממגבלות קשות שלא מאפשרות להסתמך עליה בעבודה מקצועית שוטפת.

ההבדל העיקרי מול כלי RAG רגילים טמון בוויתור על חיפוש וקטורי סטנדרטי לטובת פירוק שמבוסס כולו על מודל השפה עצמו. במקום לקצוץ פסקאות אקראיות מתוך מאגר נתונים, המערכת מנתחת את מבנה החוק השלם מלמעלה ומכוונת ישירות לחלקים הרלוונטיים. זה מונע הזיות גסות בציטוטים, אבל מייצר צוואר בקבוק כבד בזמני התגובה. אם אתם רגילים לצ'אט שמחזיר פלט תוך שלוש שניות, פה הסיפור שונה לחלוטין. תצטרכו להמתין דקות ארוכות לכל בירור נקודתי, בלי לדעת מראש אם התוצאה תהיה מדויקת מספיק.

המחיר והזמן שתבזבזו

כל שאלה בודדת במערכת עולה סביב 2 דולר בעלויות API של GPT-4, וזמן ההמתנה נע בין 5 ל-10 דקות שלמות. אין כאן מנוי חודשי מסודר או מסלול חינמי, אלא צריכת טוקנים ישירה ויקרה שמצטברת מהר מאוד אם מריצים כמה בדיקות ברצף. מעבר לעלות הכספית, המחיר האמיתי הוא הזמן שתבזבזו על קריאת פלט של שני עמודים רק כדי לגלות שגיאה בהיקש הלוגי. מומחה GDPR שבדק את המערכת הגדיר 8 מתוך 10 תשובות כמעולות ואת השתיים הנותרות כשמרניות מדי, אבל בדיקות עומק חשפו כשלים חמורים בסוגיות מורכבות יותר.

• מחיר לשאלהכ-2 דולר
• זמן תשובה5 עד 10 דקות
• היקף מסמכיםחוק בודד בלבד

זה פשוט לא זז.

מה שבאמת מפריע כאן הוא חוסר היכולת של המערכת להתמודד עם יותר ממסמך אחד בכל פעם. עורכי דין אמיתיים לעולם לא בודקים רגולציה אחת בנפרד, אלא מצליבים פסיקות קודמות, תקנים טכניים והנחיות רשמיות של גופי אכיפה שונים. הכלי מוגבל אך ורק לטקסט החוק הספציפי שהוזן אליו, כמו ה-EU AI Act, ומתעלם מכל מה שנמצא מחוץ לקובץ המקורי. מי שמחפש פתרון לדין הישראלי יגלה שאין כאן שום תמיכה מקומית, לא בשפה ולא במאגרי החקיקה של ישראל. כל הפיתוח מכוון לרגולציה אירופית באנגלית.

השילוב של זמני המתנה ארוכים, הסקת מסקנות שגויה והיקף מסמכים מוגבל הורג את השימוש.

Hugo Dutka

הכלי שווה בדיקה רק אם אתם חוקרים ארכיטקטורות של סוכנים או מפתחים פתרונות אוטונומיים על גבי מסמכים ארוכים מאוד. לא הייתי משתמש בזה לייעוץ משפטי אמיתי או לקבלת החלטות עסקיות בעלות סיכון, כי מודל השפה נוטה לפספס הבדלים דקים בין הגדרות חוקיות. המפתחים עצמם פנו לכיוון של חיפוש סמנטי בקובצי PDF והודו שהמוצר הנוכחי לא מוכן לשימוש מעשי במשרדי עורכי דין. השילוב בין עלות גבוהה, תהליך איטי וחוסר יציבות לוגית הופך אותו לניסוי מעניין ותו לא.

הטעויות קורות בדיוק בפרטים הקטנים.