inference-playground
רץ בדפדפןhuggingfaceרישיון לא דווח2024-06-27
סביבת עבודה בדפדפן לבדיקה והשוואה של מודלי שפה שונים דרך ספקי הרצה מגוונים. מתאימה למפתחים שרוצים לבחון פרומפטים והגדרות לפני שכותבים קוד.
- —הורדות בחודש
- 317לייקים
מה זה
אתם מזינים פרומפט טקסטואלי, בוחרים מודל שפה מרשימת המודלים של האתר או מגדירים נקודת קצה מותאמת, ומקבלים תשובת טקסט בזמן אמת. הממשק מאפשר לפצל את המסך כדי להריץ את אותו הטקסט מול שני מודלים שונים במקביל, או מול אותו מודל עם הגדרות שונות כמו טמפרטורה, כמות טוקנים מקסימלית וערכי דגימה.
מאחורי הקלעים הכלי נשען על ספריית הקוד הרשמית של האתר להרצת מודלים, ומתחבר לספקים חיצוניים כמו Together, Fireworks או Replicate, לצד תמיכה בנקודות קצה שתואמות לתקן של OpenAI. מעבר לתשובות עצמן, מקבלים קטעי קוד מוכנים בשפות שונות כדי לשחזר את הקריאות המדויקות במערכות שלכם.
מתאים ל
- השוואת מודלים זה לצד זה
הרצת אותו הפרומפט מול שני מודלים שונים כדי להשוות איכות ומהירות.
- כיוונון פרמטרים
שינוי ערכי טמפרטורה וטוקנים כדי לראות מיד איך התשובה משתנה.
- ייצוא קוד לקריאות API
העתקת קטעי קוד מוכנים להטמעה ישירה באפליקציות שלכם.
איפה זה נופל
הכלי הוא רק ממשק פנייה ולא מריץ שום מודל שפה ישירות על השרת שלו. אם ספק ההרצה שבחרתם עמוס, איטי או דורש תשלום נוסף, החוויה תהיה תלויה בו לחלוטין. הוא מתמקד בטקסט בלבד ולא מתאים לבדיקת מודלים של תמונה, קול או קבצים מורכבים.
שאלות
נפוצות
האם השימוש בכלי עולה כסף?
הכניסה לממשק חינמית, אבל צריך חשבון ומפתח גישה. העלויות בפועל תלויות במודלים ובספקי ההרצה שתבחרו להפעיל דרכו.
האם אפשר להריץ אותו מקומית על המחשב?
כן, הפרויקט פתוח ודורש Node.js בגרסה 20 ומעלה יחד עם מנהל החבילות pnpm. אחרי התקנה קצרה הוא עולה בדפדפן המקומי.
במה זה שונה מפנייה ישירה למודל?
זהו ממשק משתמש חזותי שחוסך כתיבת קוד לבדיקות ראשוניות. הוא מאפשר להשוות תוצאות, לנהל פרויקטים ולשנות הגדרות בקלות בלי לבנות סביבת בדיקה מאפס.
איך משתמשים
כדי להתחיל לעבוד צריך חשבון באתר ומפתח גישה עם הרשאות קריאה לפחות. בוחרים מודל, קובעים פרמטרים, מקלידים את השאלה ושולחים. היישום רץ על תשתית מעבד משודרגת, אך מהירות התשובה עצמה תלויה ישירות בספק ההרצה שבחרתם ובגודל המודל. ארגונים יכולים להגדיר חיוב מרכזי כדי לנתב את העלויות של הבדיקות לחשבון הצוות.
הרישיון
רישיון השימוש בקוד אינו מדווח במידע הזמין. מפתח הגישה והטקסטים שתזינו נשלחים ישירות לספקי ההרצה שתבחרו, והתנאים החלים על התוכן תלויים במדיניות של אותו ספק ספציפי.