PDF-RAG

מה זה

היישום מקבל קובצי PDF או טקסט, מפרק אותם למקטעים בעזרת CharacterTextSplitter ושומר אותם בבסיס נתונים וקטורי מקומי. ברגע שאתם שולחים שאלה בצ'אט, הוא מבצע אחזור מידע מתוך המסמך, מייצר שיבוצים וקטוריים בעזרת EmbeddingModel של OpenAI, ומעביר את ההקשר למודל השפה ChatOpenAI שמחזיר תשובה מנומקת מתוך הטקסט.

הממשק נשען על ספריית Chainlit כדי לנהל את השיחה וקליטת הקבצים. אין כאן דוגמאות מובנות מראש, אלא רק הזמנה להעלות קובץ משלכם ולהתחיל להקליד שאלות אל מול התוכן שהעליתם.

מתאים ל

• תחקור מסמכים אישיים

  מעלים קובץ PDF ארוך ושואלים שאלות ממוקדות כדי למצוא פרטים בלי לקרוא הכל ידנית.

• שליפת מידע מטקסט פשוט

  טעינת קובצי טקסט וביצוע חיפוש סמנטי מהיר על בסיס ההקשר שמוחזר מהווקטורים.

• בסיס לקוד RAG עצמאי

  הורדת הקוד כדוגמה לבניית צ'אט מסמכים מבוסס Chainlit ורכיבי aimakerspace.

איפה זה נופל

נכון לעכשיו היישום נמצא במצב של שגיאת בנייה, כך שאי אפשר להריץ אותו ישירות בדפדפן בלי לתקן את הקוד או את הגדרות הדוקר שלו. בנוסף, חיתוך הטקסט מתבצע לפי תווים פשוטים וללא מודל מקומי עצמאי, מה שאומר שהוא תלוי לחלוטין במפתח של OpenAI כדי לספק תשובות ולא יעבוד בסביבה מנותקת.

איך משתמשים

טוענים קובץ מסוג PDF דרך הממשק של Chainlit, ממתינים לסיום העיבוד והחיתוך של הטקסט, ואז שואלים שאלות בתיבת השיחה. המערכת מוגדרת לרוץ על מעבד בסיסי, מה שאומר שעיבוד מסמכים גדולים במיוחד עלול לקחת מעט זמן, אם כי שאילתות המודל נשלחות בפועל ישירות לשרתי OpenAI.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי בקוד, שינוי שלו והרצה מסחרית. עם זאת, התוכן שאתם מעלים נשלח למודלים של OpenAI, כך שהמידע כפוף גם למדיניות הפרטיות והשימוש שלהם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗