F You, Show Me The Prompt

הסקירה

מפעילים שרת פרוקסי מקומי במחשב, מכוונים אליו את התעבורה של ספריות הקוד, ורואים על מסך דפדפן את כל מה שנשלח לספקי המודלים. השיטה הזו, שמוצגת במאמר של Hamel Husain, נועדה לפתור בעיה מעצבנת במיוחד של ספריות כמו DSPy או guidance. הכלים האלה מבטיחים לייצר תוצאות בטוחות, מובנות או עמידות יותר, אבל בדרך הם מסתירים מכם את הפרומפט המדויק שנשלח למודל השפה. במקום לחפור בקוד המקור או בתיעוד מסורבל כדי להבין מה קורה מאחורי הקלעים, מיירטים את קריאות ה-API וחושפים את הטקסט הגולמי בלי תיווך.

זה לא עובד על קסמים.

איך עוקפים את מסך העשן

הרעיון נשען על mitmproxy, כלי קוד פתוח חינמי לחלוטין שמיירט בקשות רשת ויושב בין היישום שכתבתם לבין הרשת החיצונית. כשאתם משתמשים במסגרות עבודה שמנסחות מחדש את הפרומפטים בשבילכם, קשה מאוד לעקוב אחרי כמות הקריאות שנשלחות ואחרי הניסוח הממשי שנבחר. הפרומפט הסופי שנשלח למודל הוא תיאור בשפה טבעית של מה שהכלי עושה בפועל, וזו הדרך המהירה ביותר להבין איך מנגנון מורכב מתפקד. ברגע שרואים את הטקסט המלא, קל לבדוק אם אפשר לזרוק את הספרייה כולה, להעתיק רק את מחרוזת הפרומפט שהיא ייצרה, ולחסוך שכבות של קוד מיותר.

ההתקנה דורשת מעט סבלנות טכנית.

תהליך ההגדרה כולל הרצה של פקודת mitmweb בטרמינל כדי להעלות ממשק גרפי בדפדפן בכתובת המקומית בפורט 8081, בזמן שהפרוקסי עצמו מאזין לפורט 8080. כדי ליירט תעבורת HTTPS מוצפנת, נכנסים לכתובת ייעודית ומתקינים תעודת אבטחה של הכלי במערכת ההפעלה, למשל דרך הגדרות הפרוקסי של macOS. במקום להפנות את כל תעבורת המחשב דרך הפרוקסי וליצור עומס מיותר, מכוונים רק את קוד ה-Python. מגדירים משתני סביבה כמו HTTPS_PROXY ונתיב לתעודה בתוך משתני REQUESTS_CA_BUNDLE ו-SSL_CERT_FILE, וכך ספריות כמו requests ו-httpx שולחות רק את קריאות ה-AI ישירות לממשק המעקב.

למי השיטה הזו מיועדת

הפרומפט שנשלח למודל השפה הוא הדרך המהירה ביותר להבין מה הכלי עושה. מה שבאמת מפריע כאן הוא הנטייה של מסגרות עבודה מודרניות להכריח מפתחים לכתוב קוד מפותל במקום לדבר עם המודל ישירות. יש הבדל ברור בין חיבור קוד לפונקציות וניתוב משימות לבין כתיבה מחדש של הנחיות טקסטואליות. אם כלי רק מרכיב מחדש את הטקסט שלכם ומסתיר אותו מאחורי מושגים פנימיים מורכבים, חשיפת הפרומפט מאפשרת לבחון אם המסגרת הזו בכלל נחוצה. במקרים רבים תגלו שאפשר לכתוב פרומפט קצר, מדויק וזול יותר בעצמכם בלי להסתמך על תשתית חיצונית כבדה.

מי שלא כותב קוד ילך לאיבוד.

לא הייתי משתמש בזה למשתמשי קצה שמחפשים תוסף דפדפן פשוט בלחיצת כפתור, כי אין כאן מוצר ארוז בממשק עצמאי. זה פתרון שמתאים אך ורק למפתחים וחוקרים שכותבים קוד מול מודלי שפה ורוצים לוודא שהספריות שלהם לא מבזבזות כסף על קריאות רשת מיותרות. מבחינת עלויות, הכלי חופשי לחלוטין וקוד המקור פתוח לכולם, כך שאין שום מסלול בתשלום, מנוי חודשי או מגבלת שימוש מסחרי. ההוצאה היחידה שתשלמו היא החשבון הרגיל שלכם לספקי המודלים על הטוקנים שנשלחים ברקע, ולכן השיטה הזו עוזרת לחסוך בהוצאות שוטפות.

בנוגע לשפה, האתר והתיעוד כתובים כולם באנגלית טכנית, אבל הפרוקסי רק מציג טקסט גולמי שעובר ברשת. אם אתם מעבירים קלטים בעברית לספקי המודלים, הפרוקסי יציג את התווים בלי בעיה בכל בקשה ותשובה שתעבור דרכו, כל עוד הקידוד תקין. החיסרון המרכזי כאן הוא התחזוקה הידנית של תעודות אבטחה מקומיות והצורך לנהל משתני סביבה בכל סקריפט מחדש. זה דורש ידע טכני בסיסי ברשתות, ומי שלא רגיל לעבודה עם משתני מערכת יתקשה להתחיל בלי להשקיע זמן בלימוד הצעדים הראשונים.

• מחיר תוכנהחינם בקוד פתוח
• רמת מורכבותדורש הגדרת רשת
• ממשק משתמשדפדפן מקומי וטרמינל