Very-Fast-Chatbot
רץ בדפדפןKingNishרישיון לא דווח2024-05-24
היישום מציע צ'אט מהיר שמפצל בין מענה קצר ומיידי לבין תשובות מורכבות יותר. הוא מתאים למי שרוצה לבדוק טקסטים מול שני מודלים שונים בחלון אחד.
- —הורדות בחודש
- 46לייקים
מה זה
מזינים שאילתת טקסט רגילה בתיבת הקלט, ומקבלים תשובה טקסטואלית בחזרה. הממשק מחולק לשתי לשוניות נפרדות, אחת מכונה Fast והשנייה נקראת Critical. בלשונית הראשונה מקבלים מענה מהיר באמצעות פנייה אל google/gemma-1.1-2b-it. בלשונית השנייה הממשק פונה אל mistralai/Mistral-Nemo-Instruct-2407, שם התיאור מציין חשיבה ביקורתית בקצב איטי יותר.
מאחורי הקלעים הקוד משתמש ב־InferenceClient של Hugging Face כדי לשלוח את הבקשות ישירות למודלים. הממשק עצמו מינימליסטי לגמרי, אין בו דוגמאות מובנות בטקסט או כפתורים מורכבים, אלא פשוט שדה קלט ותיבת פלט שמציגה את התוצאה שנשלחה מהשרת.
מתאים ל
- השוואת תשובות קצרות
מזינים שאלה בשתי הלשוניות כדי לראות איך מודל קל ומודל מורכב יותר עונים על אותו הטקסט.
- ניסוח טקסטים מהיר
שולחים פסקאות לקבלת שכתוב מהיר דרך הלשונית הראשונה בלי לחכות לעיבוד ארוך.
- מענה לשאלות מורכבות
משתמשים בלשונית השנייה שפונה למודל Mistral Nemo לצורך פירוק בעיות שדורשות דיוק.
איפה זה נופל
הבעיה המרכזית כרגע היא שהיישום במצב מושהה, ולכן הוא לא יגיב בדפדפן בלי הפעלה מחדש. בנוסף, אין כאן היסטוריית שיחה של צ'אט אמיתי, אלא תיבת טקסט בודדת שמחזירה תשובה אחת בכל פעם, וההבטחה למהירות תלויה לחלוטין בזמינות השרתים החיצוניים.
שאלות
נפוצות
האם הכלי עובד עכשיו בדפדפן?
לא, הפרויקט נמצא כרגע במצב מושהה. כדי להשתמש בו צריך להעיר אותו או לשכפל את הקוד לחשבון שלכם. בלי הפעלה כזו הממשק לא יחזיר תשובות.
האם השימוש בחינם?
הגישה לעמוד עצמו פתוחה לגמרי ללא תשלום. כל עוד הוא רץ על התשתית הקיימת אין דרישה למנוי, אך נדרשת זמינות של שירותי ההרצה.
האם אפשר להריץ את זה מקומית?
כן, הקוד מבוסס על ספריית gradio וקורא ל־InferenceClient. תצטרכו להתקין את הספריות המתאימות, להחזיק מפתח גישה של Hugging Face ולהריץ את קובץ הפייתון במחשב.
מה קורה עם הטקסט שאני כותב שם?
הטקסט נשלח ישירות למודלים המרוחקים של גוגל ומיסטרל דרך השרתים של Hugging Face. היות שלא הוגדר רישיון פרטיות מיוחד, לא מומלץ להזין שם מידע רגיש או סודי.
איך משתמשים
מקלידים טקסט באחת הלשוניות ולוחצים Enter כדי לשלוח את השאילתה. המערכת מוגדרת על חומרת cpu-basic בסיסית, אבל השאילתות רצות דרך שירות ה־Inference החיצוני, כך שהמעבד המקומי לא מבצע את החישוב הכבד. לשונית החשיבה הביקורתית כוללת הגבלת עומס של עד עשר פניות בו זמנית.
הרישיון
היוצר לא הגדיר רישיון בקוד או בעמוד הפרויקט. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי או להעתקת הקוד, וכל המידע שנשלח עובר דרך שרתי ה־API של Hugging Face.