stack-llama
רץ בדפדפןtrl-libרישיון לא דווח2023-04-04
ממשק פשוט לשאלות ותשובות מול מודל שאומן על תוכן טכני. מיועד למפתחים שרוצים לבדוק איך המודל עונה לשאלות תכנות.
- —הורדות בחודש
- 213לייקים
מה זה
כותבים שאלה בתיבת הטקסט ומקבלים תשובה שמוצגת ישירות בממשק. בצד יש סרגלים שקובעים את התנהגות המודל: טמפרטורה, כמות הטוקנים המרבית לתשובה, top_p ומקדם ענישה על חזרות. הממשק כולל גם דוגמאות מוכנות מראש ללחיצה מהירה, וכפתור לשיתוף התוצאה בקהילה.
מאחורי הקלעים רץ המודל kashif/stack-llama-2, מודל שעבר אימון על שאלות ותשובות בסגנון Stack Exchange. הקוד משתמש בלקוח text_generation כדי לפנות למודל, וכולל אפשרות לשמור את השאלות אל מאגר הנתונים trl-lib/stack-llama-2-prompts בעזרת CommitScheduler אם מסמנים את תיבת השמירה המתאימה.
מתאים ל
- בדיקת תשובות טכניות
מזינים שאלת תכנות ורואים איך המודל מנסח פתרון והסבר קצר.
- כוונון פרמטרי יצירה
משנים טמפרטורה וחזרתיות כדי לבדוק איך הטקסט שנוצר משתנה.
- שיתוף שאלות למאגר
שומרים פרומפטים כדי לתרום דוגמאות למאגר הנתונים של הפרויקט.
איפה זה נופל
נכון לעכשיו אי אפשר להריץ את ההדגמה בדפדפן כי הסטטוס שלה מדווח כשגיאת בנייה. מעבר לזה, הממשק לא כולל מנגנון שיחה מתמשכת אלא תומך רק בשאלה ותשובה בודדת. המודל עצמו נשען על נתונים ישנים יחסית מתוך שאלות קוד, ולכן הוא עלול להחזיר קטעי קוד לא מדויקים שלא נבדקו בזמן אמת.
שאלות
נפוצות
למה האפליקציה לא עולה לי בדפדפן?
העמוד מוגדר כרגע במצב BUILD_ERROR. הקוד נתקל בשגיאה בזמן ההתקנה או הטעינה בשרת, ולכן הממשק אינו פעיל עד שהמפתחים יתקנו אותו.
האם השאלות שלי נשארות פרטיות?
בקוד קיימת תיבת סימון של do_save שמחוברת למאגר ציבורי בהאגינג פייס. אם היא מסומנת, השאלה שכתבתם נשלחת ונשמרת בדאטהסט הציבורי.
האם אפשר להריץ את זה מקומית?
כן, הקוד כתוב ב־gradio סטנדרטי ומשתמש בספריית text_generation. צריך להתקין את התלויות, להגדיר גישה למודל kashif/stack-llama-2 ולהריץ את app.py במחשב.
האם הכלי הזה עולה כסף?
הגישה לממשק היא ללא תשלום ואינה דורשת מנוי. עם זאת, בגלל שהחומרה המוקצית היא cpu-basic, המשאבים מוגבלים מאוד ולא מיועדים לעומס.
איך משתמשים
מקלידים את השאלה או בוחרים מתוך הדוגמאות, מכוונים את הפרמטרים בסרגלים לפי הצורך, ולוחצים על Generate. אם רוצים שהשאלה תישמר במאגר הציבורי, מסמנים את תיבת הבחירה הייעודית לפני ההרצה. הממשק מוגדר על חומרת cpu-basic בסיסית, כך שזמן התגובה תלוי בעיקר בשרת המרוחק שאליו פונה הלקוח של המודל.
הרישיון
הרישיון של המרחב לא דווח. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד של הממשק. בנוסף, תיבת השמירה מעלה פרומפטים ישירות למאגר ציבורי, אז אסור להזין מידע רגיש.