chat-with-baize
רץ בדפדפןproject-baizecc-by-nc-4.02023-04-01
ממשק שיחה שמריץ מודל שפה של שבעה מיליארד פרמטרים. מתאים למי שרוצה לבדוק התנהגות של מודל פתוח ישירות מהדפדפן ולשלוט על מדדי היצירה.
- —הורדות בחודש
- 376לייקים
מה זה
אתם מקלידים שאלה בתיבת הטקסט ומקבלים תשובת צ'אט מהמודל baize-v2-7b. הממשק בנוי סביב שיחה רציפה, ושומר היסטוריה מקומית כך שאפשר להמשיך בדיאלוג, לעצור את הפלט באמצע עם כפתור ייעודי, או למחוק רק את התשובה האחרונה אם היא לא התאימה לכם.
מתחת למכסה המנוע רץ מודל במשקל 7B שפותח בפרויקט baize על גבי שרת עם כרטיס גרפי A10G Small. לצד חלון הצ'אט יש לשונית שלמה של הגדרות פרמטרים, שבה אתם יכולים לשחק עם ערכי טמפרטורה, top_p, אורך ההקשר ומספר הטוקנים המרבי לתשובה, במקום להישאר עם ערכי ברירת המחדל.
מתאים ל
- בדיקת תגובות מודל פתוח
בוחנים איך מודל שבעה מיליארד פרמטרים עונה לשאלות מנוסחות מראש ומעריכים את איכות הטקסט.
- ניסוי בפרמטרי יצירה
משנים ערכי טמפרטורה וסינון top_p בלשונית ההגדרות כדי לראות איך הם משפיעים ישירות על התשובה.
- בדיקת שיחה מרובת שלבים
מנהלים דיאלוג עם זיכרון הקשר ומוחקים חילופי דברים אחרונים כדי לתקן את כיוון השיחה.
איפה זה נופל
הבעיה המרכזית כרגע היא טכנית לחלוטין. העמוד תקוע במצב של runtime error ולא מגיב, כך שאי אפשר להשתמש בו ישירות בדפדפן בלי לפתור את השגיאה בקוד.
מעבר לכך, מדובר במודל שפה קטן של שבעה מיליארד פרמטרים מגרסת אפריל 2023. הוא מוגבל בכמות ההקשר שהוא מסוגל להחזיק לפי המחוונים שבממשק, ולא מיועד למשימות ניתוח מורכבות או עבודה שמסתמכת על עובדות עדכניות בלי בדיקה ידנית שלכם.
שאלות
נפוצות
האם השימוש בממשק עולה כסף?
הגישה לעמוד פתוחה בדפדפן ללא תשלום. כל עוד המופע זמין, לא צריך לשלם על הגישה או על משאבי החישוב.
מה קורה עם הטקסט שמקלידים בחלון השיחה?
הטקסט נשלח כקלט לסקריפט שרץ על השרת כדי לייצר את התשובה הבאה. אין כאן מנגנון שמירת קבצים חיצוני, אבל התוכן עובר בעיבוד של השרת שמארח את ההדגמה.
למה הממשק לא מייצר כרגע תשובות?
העמוד נמצא כעת בסטטוס של שגיאת ריצה פנימית בקוד של פייתון. הממשק עצמו עשוי להיטען חלקית בדפדפן, אך לא ניתן לקבל פלט עד שהמפתחים יתקנו את התקלה.
האם אפשר להריץ את זה באופן מקומי?
כן, הקוד מבוסס על ספריות פתוחות של gradio ופייתון. כדי להריץ אותו אצלכם תצטרכו להוריד את קובצי המאגר, לספק כרטיס מסך מתאים למודל בגודל 7B ולהתקין את התלויות הנדרשות.
איך משתמשים
בפועל אתם כותבים הודעה בתיבה ולוחצים על כפתור השליחה, או משתמשים בכפתור יצירה מחדש אם רוצים ניסוח אחר. יש כפתור עצירה שמיועד לקטוע את התשובה באמצע, וכפתור איפוס שמנקה את כל השיחה.
החומרה שהוגדרה היא A10G Small, שאמורה לייצר תשובות בקצב סביר למודל בגודל הזה. עם זאת, נכון לעכשיו העמוד מוגדר במצב של שגיאת ריצה, כך שאי אפשר לשלוח הודעות ולקבל מענה עד שיוצרי הפרויקט יתקנו את הבעיה בקוד ההרצה.
הרישיון
הפרויקט מפורסם תחת רישיון cc-by-nc-4.0. הרישיון הזה מתיר שימוש לא מסחרי בלבד ומחייב מתן קרדיט ליוצרים, כך שאי אפשר לקחת את הפלט או את המודל למוצר מסחרי. החומר שאתם מקלידים בממשק נשלח ישירות למופע הפעיל של האפליקציה.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא