RAG-PDF-Chatbot
רץ בדפדפןMuntasirHossainרישיון לא דווח2024-05-12
מעלים קובצי PDF, בוחרים מודל שפה, ושואלים שאלות על התוכן שלהם בצ'אט. מתאים למי שרוצה לבדוק שליפת מידע ממסמכים בלי להקים שרת בעצמו.
- —הורדות בחודש
- 73לייקים
מה זה
מעלים קובץ PDF אחד או יותר דרך הדפדפן, לוחצים על יצירת בסיס נתונים וקטורי, ובוחרים מודל שפה מתוך שתי אפשרויות: Meta-Llama-3-8B-Instruct או Mistral-7B-Instruct-v0.2. אפשר לשחק עם הגדרות כמו טמפרטורה בין 0.01 ל־1.0, מספר טוקנים מרבי עד 9192, וערך top-k בין 1 ל־10.
מאחורי הקלעים רץ תהליך RAG שמבוסס על LangChain, פירוק הטקסט בעזרת RecursiveCharacterTextSplitter, שימוש ב־FAISS או Chroma לשמירת וקטורים, וקריאה למודלים דרך HuggingFaceEndpoint או צינורות מקומיים. כשתשאלו שאלה בצ'אט, התשובה תופיע יחד עם שלושה ציטוטים מתוך המסמך ומספרי העמודים המדויקים שמהם נשלף המידע.
מתאים ל
- תחקור מסמכים באנגלית
העלאת דוחות ומאמרים כדי לחלץ עובדות ספציפיות יחד עם מראה מקום מדויק.
- השוואת מודלים בשליפה
בדיקת התשובות של Llama 3 8B מול Mistral 7B על אותו מסמך בדיוק.
- אימות מקורות מידע
בדיקת מספרי העמודים והציטוטים הישירים שהמערכת מציגה לצד כל תשובה.
איפה זה נופל
ההדגמה מוגדרת להדגמת יכולות בלבד, והמפתח מזהיר במפורש לא להעלות מסמכים רגישים או חסויים. קבצים בעברית עלולים להיתקל בבעיות בחילוץ הטקסט דרך PyPDFLoader או בשליפה עצמה. בנוסף, חומרת ה־CPU החלשה תגרום לצוואר בקבוק משמעותי אם תנסו לטעון קובצי PDF כבדים מרובי עמודים.
שאלות
נפוצות
האם השימוש פתוח בחינם?
כן, הממשק פתוח לשימוש חופשי בדפדפן בלי צורך להזין פרטי תשלום. אין צורך ליצור משתמש באתר כדי לטעון קבצים ולשאול שאלות.
מה קורה עם הקבצים שמעלים?
הקבצים נשלחים לשרת Hugging Face שבו פועלת האפליקציה לצורך חילוץ הטקסט ויצירת האינדקס. המפתח מדגיש לא להעלות מידע סודי, כיוון שמדובר בסביבת הדגמה ציבורית.
במה זה שונה משיחה רגילה עם Llama או Mistral?
במקום להסתמך רק על הידע הכללי של המודל, המערכת סורקת קודם את קובצי ה־PDF שהעליתם. היא שולפת מתוכם את הקטעים הרלוונטיים ומעבירה אותם למודל כהקשר לתשובה, כולל הפניה לעמוד המדויק.
האם אפשר להריץ את זה מקומית על המחשב?
הקוד בנוי על ספריות קוד פתוח מוכרות כמו LangChain ו־Gradio, כך שניתן לשכפל אותו ולהריץ בסביבה פרטית. תצטרכו להגדיר מפתחות גישה מתאימים לנקודות הקצה של המודלים שבהם נעשה שימוש.
איך משתמשים
גוררים את הקבצים לאזור ההעלאה ולוחצים על הכפתור לבניית בסיס הנתונים. אחרי שהסטטוס מתעדכן, בוחרים מודל ולוחצים על אתחול הצ'אטבוט לפני שמתחילים להקליד שאלות. אין צורך בהרשמה או התחברות. השרת רץ על חומרת cpu-basic בסיסית, כך שפירוק מסמכים ארוכים או יצירת וקטורים עלולים לקחת זמן, אם כי קריאות ה־LLM עוברות לנקודות קצה ייעודיות.
הרישיון
הרישיון של הפרויקט לא דווח. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד או להפצה חוזרת, וכל תוכן שאתם מעלים מועבר לשרתי Hugging Face ולנקודות הקצה של המודלים.