RAG-Chatbot
רץ בדפדפןnot-lainרישיון לא דווח2024-03-30
היישום מציג צ'אט שמחזיר תשובות מבוססות מאגר ויקיפדיה באנגלית. מתאים למי שרוצה לבדוק צימוד פשוט בין מודל שפה למאגר וקטורי חיצוני.
- —הורדות בחודש
- 63לייקים
מה זה
אתם מקלידים שאלה בתיבת השיחה של הממשק ומקבלים תשובת טקסט רציפה. הממשק מציע כדוגמה מוכנה את השאלה מה זה אנרכיה, כדי לראות איך הוא מגיב ישירות מהקופסה.
מאחורי הקלעים הקוד משתמש במודל mixedbread-ai/mxbai-embed-large-v1 כדי לייצר וקטורים ולמצוא את הקטעים הרלוונטיים מתוך מאגר not-lain/wikipedia שכבר עבר הטמעה מראש. אחרי שליפת התוכן המתאים ביותר, הטקסט מועבר למודל meta-llama/Meta-Llama-3-8B-Instruct שמרכיב ומזרים את התשובה הסופית. זה מדגים ארכיטקטורת RAG קלאסית, שבה המודל נשען על קטעי טקסט שמגיעים מהדאטהסט במקום להמציא מידע מהזיכרון הפנימי בלבד.
מתאים ל
- בדיקת שליפת ידע
רואים איך מודל שפה עונה כשהוא מחובר למאגר עובדות מוכן של ויקיפדיה.
- הדגמת מודל לאמה 3
בוחנים את היכולת של המודל לייצר תשובות זורמות מתוך טקסטים מחולצים.
- לימוד קוד RAG פשוט
לומדים מהמימוש איך לחבר חילוץ וקטורי לממשק שיחה בסיסי.
איפה זה נופל
נכון לעכשיו אי אפשר להשתמש בכלי כי הוא נמצא במצב תקלה. מעבר לזה, אתם לא מעלים מסמכים משלכם, החיפוש מוגבל רק למאגר ויקיפדיה שהוטען מראש בקוד, וכל הבדיקה מיועדת בעיקר לאנגלית ולא לחומרים מקומיים או בעברית.
שאלות
נפוצות
האם הכלי עובד עכשיו בדפדפן?
לא. כרגע הוא מסומן במצב של שגיאת ריצה ולכן אי אפשר לקבל ממנו תשובות בפועל.
אפשר להעלות קבצים או מסמכים אישיים לבדיקה?
לא, הממשק לא כולל אפשרות להעלאת קבצים. השאלות שלכם נשלחות רק מול מאגר ויקיפדיה שהוטען מראש.
האם אפשר להריץ את היישום מקומית?
כן, הקוד מבוסס על ספריות סטנדרטיות כמו gradio ו־transformers. תצטרכו להוריד את הקוד, את המודלים ואת המאגר not-lain/wikipedia ישירות מההאב.
האם השימוש כרוך בתשלום?
הגישה דרך הדפדפן היא בחינם ואינה דורשת תשלום. אם תרצו לשכפל את החומרה או להריץ אותה בעצמכם, תצטרכו משאבי מחשוב מתאימים.
איך משתמשים
לוחצים על תיבת השיחה, מקלידים שאלה באנגלית או בוחרים את שאלת הדוגמה, וממתינים לפלט. היישום רץ על תשתית zero-a10g שמשתמשת במאיץ A10G רק בזמן פנייה פעילה, אך כרגע הדף מדווח על שגיאת ריצה. כשהוא תקין, העיבוד אמור לקחת שניות בודדות.
הרישיון
הפרויקט לא כולל הגדרת רישיון רשמית בקוד או בעמוד שלו. כשאין רישיון מוגדר, אין לכם אישור ברור להעתיק את הקוד, להשתמש בו לצרכים מסחריים או להסתמך על זכויות שימוש בתוצרים שמתקבלים ממנו.