chat-llm-streaming

מה זה

אתם בוחרים מודל מתוך רשימת רדיו, כותבים הודעה בתיבת הטקסט ומקבלים תגובה שמוזרמת בזמן אמת בתוך חלון צ'אט. הממשק מאפשר לשחק עם פרמטרים של הפקת טקסט כמו טמפרטורה, top_k, top_p, typical_p, ענישה על חזרתיות וסימון מים דיגיטלי לטקסט.

מאחורי הקלעים רצים לקוחות של text generation שמפנים את הבקשות למודלים פתוחים מוכרים, ביניהם גרסאות של bloom, bloomz, gpt-neox-20b, flan-t5-xxl, flan-ul2, דגמים של OpenAssistant וגם GPT-NeoXT. במקום להריץ את המשקלים הכבדים על הדפדפן, הממשק מחבר את השיחה ישירות לתשתית הסקה מרוחקת שמזרימה את הטוקנים כשהם נוצרים.

מתאים ל

• השוואת מודלים פתוחים

  שליחת אותה הנחיה למודלים שונים כמו bloomz מול flan-ul2 כדי לראות את ההבדל בסגנון.

• בדיקת השפעת פרמטרים

  כוונון טמפרטורה, ענישה על חזרות ודגימת טוקנים בזמן אמת כדי לראות איך הפלט משתנה.

• התרשמות מהזרמת טקסט

  בחינת קצב פליטת הטוקנים בצ'אט מול שרתי הסקה ייעודיים לטקסט.

איפה זה נופל

הבעיה המיידית היא שהיישום נמצא כרגע בשגיאת ריצה מלאה, כך שאי אפשר להשתמש בו ישירות בדפדפן בלי לתקן את הקוד. בנוסף, מודלים פתוחים מהדור של תחילת 2023 נוטים להזיות תכופות, מתקשים בעברית ומציגים רמת דיוק נמוכה בהרבה ממה שהורגלנו אליו בשנים האחרונות.

איך משתמשים

בוחרים מודל ברדיו, מקלידים שאלה ולוחצים על הכפתור כדי להתחיל שיחה. אם רוצים לשנות את אופי התשובות, פותחים את לשונית הפרמטרים ומכוונים את המדדים של הדגימה לפני השליחה.

בפועל אין כרגע מה ללחוץ כי היישום מוגדר במצב של תקלת זמן ריצה ולא עולה בצורה תקינה. בנוסף, חומרת השרת הרשומה היא מעבד בסיסי בלבד, מה שאומר שהסביבה הזו תוכננה לשמש רק כמתווך קל מול שרתי הסקה חיצוניים ולא להריץ מודלים של עשרות מיליארדי פרמטרים בעצמה.

הרישיון

היוצר לא הגדיר רישיון שימוש בקוד של הפרויקט. המשמעות היא שאין הרשאה ברורה להעתיק את הקוד או להשתמש בו מחדש, והשימוש בתשובות תלוי ברישיונות הנפרדים של כל מודל שנבחר ברשימה.

הרישיון המלא ב־Hugging Face ↗