Truss

הסקירה

אתם כותבים קובץ config.yaml שמגדיר חומרת GPU, תלויות ומשקולות, ומריצים פקודה בטרמינל כדי לארוז מודל בינה מלאכותית לקונטיינר מוכן לפריסה. החבילה הזו, שנקראת Truss, פותחה כקוד פתוח על ידי חברת Basetenlabs ומטרתה לקשור בין קוד המודל המקומי לבין שרתי ענן ייעודיים. היא מאפשרת להגדיר את כל מה שהמודל צריך כדי לרוץ, כולל סביבת זמן הריצה והתלויות של Python, בלי שתצטרכו לכתוב קובצי Dockerfile מורכבים מאפס עבור כל ניסוי חדש. התהליך מבוסס על אריזה תקנית שאפשר להעביר ישירות אל תשתית הענן של Baseten.

הכלי מייתר עבודה ידנית מיותרת.

איך עובד מחזור הפיתוח

תהליך העבודה מחולק לשלושה מסלולים שונים בהתאם למורכבות המודל שאתם רוצים להריץ. במסלול הפשוט של config-only אתם רק מצהירים על הדרישות בקובץ ההגדרות, מה שמתאים למודלי שפה פתוחים רבים שלא דורשים לוגיקת שרת מיוחדת. במסלול המותאם אישית אתם מוסיפים קובץ model.py עם מחלקת Python שמממשת פונקציות טעינה וחיזוי עבור עיבוד מקדים או מאוחר. המסלול השלישי מקבל קונטיינר עצמאי של שרתים קיימים כמו vLLM, SGLang או Triton, כך שלא חייבים להינעל על המבנה הפנימי שהחבילה מכתיבה.

בזמן פיתוח מריצים baseten model push עם דגל watch כדי ליצור עותק בדיקה בודד בענן שמסתנכרן בזמן אמת. כשאתם שומרים שינוי בקוד המקומי, הפקודה baseten model watch מסנכרנת את הקבצים בלי לבנות את הקונטיינר מחדש, מה שחוסך דקות ארוכות של המתנה מול הלוגים. זה שווה את זה רק אם אתם מריצים מודלים מותאמים משלכם וזקוקים למחזור בדיקות מהיר ישירות מול מעבדי GPU מרוחקים. בסיום הבדיקות מפיקים פריסה קבועה שכוללת ניהול עומסים אוטומטי וכתובת קבועה.

הסנכרון המהיר עובד רק בפיתוח.

כמה זה עולה באמת

החבילה עצמה מופצת כקוד פתוח ללא תשלום במאגר של החברה בכתובת GitHub, כך שניתן לבחון את המבנה שלה ולהשתמש בחלקים ממנה באופן חופשי. עם זאת, השימוש בפקודות הדחיפה והסנכרון מול תשתית הענן של Baseten כרוך בתשלום על משאבי המחשוב והתשתית המנוהלת. התיעוד באתר לא מציג מחירון מספרי מדויק, עלויות שרתים לפי שעה או מדרגות מחיר מוגדרות, אלא מציין רק שהשירות המנוהל הוא paid. החיוב בפועל תלוי בסוג המעבדים הגרפיים שתקצו ובהיקף התעבורה.

מה שבאמת מפריע כאן הוא חוסר השקיפות המוחלט לגבי העלויות בתוך דפי התיעוד עצמם. אתם לא יכולים לדעת מראש כמה תעלה שעת ריצה של חומרת השרת לפני שתפתחו חשבון פעיל ותתחילו להגדיר שרתים. לא הייתי משתמש בזה אם התקציב שלכם הדוק ואין לכם יכולת לספוג חיובים לא צפויים על זמני חישוב בענן.

• קוד מקורפתוח בחינם
• תשתית ענןבתשלום ללא פירוט
• ממשק פיתוחטרמינל וקובצי הגדרה

הפתרון מתאים לצוותי פיתוח שמחזיקים מודלי למידת מכונה פנימיים וצריכים דרך מסודרת לארוז אותם בלי לתחזק שרתי Docker משלהם. הוא גם מתאים למי שבונה מערכות מרובות מודלים באמצעות שרשראות ייעודיות, שבהן שלב שליפת המידע ושלב היצירה רצים על גבי חומרה נפרדת עם חוקי גדילה עצמאיים. הוא ממש לא מתאים למי שרק רוצה לקרוא למודלים מוכנים דרך ממשק פשוט, כי למטרה הזו קיימים ממשקי Model APIs ייעודיים שלא דורשים מכם לנהל תצורת שרת.

ההתקנה דורשת ידע בפייתון.

בנוגע לעברית, הכלי מהווה מעטפת טכנית בלבד לקונטיינרים ואינו כולל רכיבי שפה משל עצמו. אם אתם מעלים מודל שפה שאומן על עברית או שרת שמטפל בטקסט מקומי, הוא יעבוד בדיוק כפי שהגדרתם אותו בקוד שלכם. האתר והתיעוד כתובים באנגלית טכנית בלבד, ואין תמיכה או לוקליזציה לשוק המקומי.