Manifest

הסקירה

כשאתם שולחים בקשה שגויה למודל שפה, Manifest מנסה לתקן אותה בעצמו בזמן אמת לפני שהיא מתרסקת. הוא יושב כנקודת גישה אחת בין הקוד שלכם לבין ספקי המודלים, ומנתב את התעבורה לפי הגדרות שקבעתם מראש. אם OpenAI מחזיר שגיאה או לא עונה, הוא מעביר את הבקשה מיד למודל חלופי של Anthropic או ספק אחר. מעבר לזה, הוא עוקב אחרי כל טוקן, שגיאה ועלות כספית ברמת הבקשה הבודדת.

מה שבאמת מפריע כאן הוא שאין באתר פירוט ברור איך מנגנון התיקון האוטומטי מתקן בקשות שבורות בלי לשנות את הכוונה המקורית שלכם. ברמת הניתוב והמעקב מקבלים כאן שקט תעשייתי מסוים, אבל כדאי לזכור שכל שכבה נוספת באמצע מכניסה השהיה מסוימת לזמני התגובה. מי שבונה שירות חי שחייב לעמוד בעומסים צריך לבדוק קודם אם התיקון האוטומטי לא מייקר את העלויות מאחורי הקלעים.

מה קורה לבקשות שלכם

במקום לחבר בספריות הקוד שלכם כל ספק בנפרד, אתם שולחים הכל לכתובת אחת והוא דואג להעביר את זה הלאה. המערכת מציגה לוח בקרה שמרכז את כל הנתונים, כולל אחוזי הצלחה, נפילות לפי ספק וכמה כסף נשרף על כל פנייה. אם חיברתם חשבונות עם מפתח API או מנוי, אתם יכולים לחלק את הבקשות בין מודלים שונים כדי לא לחרוג ממגבלות הקצב. הכל מנוטר ומאפשר להבין איפה בדיוק נכשלתם.

ההבדל העיקרי מול סתם פרוקסי פשוט הוא התפיסה של תיקון עצמי. המוצר לא רק מעביר הלאה ומדווח שנכשלתם, אלא מתיימר לתקן את המבנה השבור כדי שהספק יקבל אותו בכל זאת. עבור מתכנת שבונה סוכנים מורכבים שמייצרים פורמטים משתנים, זה יכול לחסוך קריסות שנובעות מטעויות תחביר קטנות. עם זאת, אם אתם צריכים רק גישה פשוטה ל־GPT-4o, כל המנגנון הזה כנראה מיותר עבורכם ומעמיס סיבוכיות בלי צורך ממשי.

שגיאות תחביר נפתרות לפעמים מעצמן. התעבורה זורמת.

כמה זה עולה בפועל

התמחור מתחיל מאפס דולר לחודש במסלול חינמי, שמציע עשרת אלפים בקשות בענן שלהם עם שמירת נתונים לשבעה ימים בלבד. המסלול הזה כולל גם אפשרות להריץ תמונת Docker ברישיון MIT על השרתים שלכם, ושם אין שום הגבלה על כמות הבקשות. מדרגת Pro עולה 19 דולר לחודש בענן ומספקת בקשות ללא הגבלה ושמירת היסטוריה לשנה שלמה, אבל היא מוגדרת במפורש כמתאימה למשתמש בודד ולא לצוותים שצריכים שיתוף פעולה. ארגונים שצריכים התקנה מקומית עם אבטחה, SSO וניהול משתמשים יצטרכו לדבר עם המכירות.

המחיר לא כולל עמלות טוקנים.

חשוב להבין שהם לא גוזרים עמלה על צריכת הטוקנים שלכם. אתם מביאים מפתחות פרטיים ומשלמים לספקים ישירות, כך שאין כאן כפל תשלומים מפתיע על נפח המידע שעובר. לא הייתי משתמש בזה לפרויקטים זמניים שבהם אין לכם זמן להרים תשתית או לנטר אותה, כי ניהול שרת Docker משלכם דורש תחזוקה שוטפת. זה שווה את זה רק אם אתם שולחים עשרות אלפי בקשות ביום ורוצים להגן על עצמכם מנפילות של ספק בודד בלי לשלם אלפי דולרים לתשתיות ענן חיצוניות.

• מסלול חינםקיים עד עשרת אלפים
• קוד פתוחברישיון MIT עם Docker
• מחיר Pro19 דולר למשתמש יחיד

האתר והממשק מנוהלים כרגע באנגלית בלבד, ואין שם שום התייחסות לתמיכה ייעודית בעברית או לשמירת נתונים לפי רגולציה ישראלית מקומית. הטקסט בעברית שתשלחו דרך הבקשות שלכם יעבור כרגיל לספקים, אבל שמות המשתנים והגדרות הניתוב נעשים כולם בתחביר אנגלי סטנדרטי.