pdf-chatbot
רץ בדפדפןcvachetרישיון לא דווח2023-12-28
מעלים קובץ PDF, בוחרים מודל שפה פתוח ומנהלים שיחה עם המסמך. הכלי מתאים למי שרוצה לבדוק תהליך RAG פשוט מול קבצים אישיים בלי להקים תשתית.
- —הורדות בחודש
- 382לייקים
מה זה
הכלי מקבל קובצי PDF ומאפשר לשאול עליהם שאלות בצ'אט. מאחורי הקלעים הוא משתמש ב־LangChain כדי לחתוך את הטקסט למקטעים, יוצר מהם וקטורים עם HuggingFace embeddings ושומר אותם ב־ChromaDB. כששואלים שאלה, המערכת שולפת את המקטעים הרלוונטיים, מציגה את מספרי העמודים כמקורות, ושולחת אותם למודל שפה יחד עם היסטוריית השיחה.
הממשק חושף את כל השלבים ידנית במקום להסתיר אותם. אפשר לבחור מודלים שונים כמו סדרת Llama 3.1 ו־3.2, דגמי Gemma של גוגל, Zephyr או SmolLM2, ולהגדיר בעצמכם את גודל המקטעים, ה־overlap, טמפרטורת המודל וכמות הטוקנים המקסימלית.
מתאים ל
- תחקור מאמרים ומסמכים
העלאת קובץ PDF אקדמי או מקצועי ושאילת שאלות ישירות על התוכן שלו בלי לקרוא עשרות עמודים.
- השוואת מודלי שפה
בדיקת אותו מסמך מול מודלים שונים כמו Llama 3 ו־Gemma כדי לראות מי מחזיר תשובה מדויקת יותר.
- לימוד ארכיטקטורת RAG
מעקב מעשי אחרי שלבי פירוק הטקסט, יצירת הווקטורים והשליפה באמצעות ממשק שמפריד כל פעולה.
איפה זה נופל
הכלי מיועד לקובצי PDF מבוססי טקסט בלבד ולא מכיל רכיב OCR, כך שמסמכים סרוקים או תמונות לא יעבדו כאן. בנוסף, חלוקת העבודה לארבע לשוניות נפרדות מחייבת לחיצה יזומה על יצירת אינדקס ואתחול המודל בכל פעם מחדש, מה שמסרבל את השימוש לעומת כלי צ'אט אוטומטיים.
התשתית הבסיסית עלולה להוביל לזמני תגובה איטיים או לקריסות זיכרון אם תנסו לטעון ספרים עבי כרס. לגבי עברית, המודלים הקטנים יותר ברשימה כמו SmolLM2 יתקשו לייצר ניסוחים מדויקים.
שאלות
נפוצות
האם השימוש בכלי עולה כסף?
לא. האפליקציה פתוחה וחינמית לחלוטין לשימוש ישירות בדפדפן דרך Hugging Face, ואין צורך להזין פרטי תשלום או מפתח API אישי.
האם אפשר להריץ את היישום על המחשב?
כן. הקוד זמין להרצה מקומית באמצעות הפקודה python3 app.py בסביבת פייתון 3.10 ומעלה, והוא יפתח ממשק מקומי בכתובת localhost:7860.
מה קורה לקבצים שאני מעלה?
הקבצים מעובדים בזיכרון של המרחב ונשלחים לשירותי ה־API לצורך עיבוד ושליפה. מכיוון שמדובר בהדגמה ציבורית ללא מדיניות פרטיות מוגדרת, לא מומלץ להעלות מסמכים מסווגים.
במה זה שונה משיחה רגילה מול המודל?
כאן המודל לא עונה מהזיכרון הכללי שלו בלבד. הוא מקבל קטעים ספציפיים שנשלפו מהמסמך שלכם דרך ChromaDB, ומציין באיזה עמוד נמצא המקור לתשובה.
איך משתמשים
העבודה מחולקת לארבע לשוניות מסודרות. בלשונית הראשונה מעלים את ה־PDF, בשנייה מגדירים את חיתוך הטקסט ולוחצים על יצירת בסיס הנתונים הווקטורי, בשלישית בוחרים את מודל השפה ומאתחלים את שרשרת השאלות, וברביעית מתכתבים בצ'אט.
אין צורך בהתחברות או בהרשמה. עם זאת, היישום רץ על תשתית cpu-basic חלשה יחסית, כך שעיבוד מסמכים כבדים או קבלת תשובות ממודלים גדולים ייקחו זמן ודורשים סבלנות.
הרישיון
היוצר לא הגדיר רישיון שימוש בקוד. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי או להפצה מחדש. הקבצים שאתם מעלים עוברים דרך השרת של Hugging Face וה־Inference API, לכן אל תעלו מסמכים רגישים או מידע פרטי.