langchain-chat-with-pdf

מה זה

אתם מעלים קובץ PDF ובוחרים מודל מתוך שלושה: flan-ul2 של גוגל, oasst-sft-1-pythia-12b של OpenAssistant או bloomz של bigscience. אחרי הטעינה מקלידים שאלות ומקבלים תשובות בחלון צ'אט שמבוססות על הטקסט מהקובץ.

מאחורי הקלעים רץ שרשור של LangChain עם RetrievalQA. הקוד חותך את המסמך לחלקים עם CharacterTextSplitter, מייצר וקטורים דרך HuggingFaceHubEmbeddings ושומר אותם במאגר Chroma מקומי. התשובות מוגבלות לעד 250 תווים חדשים בכל פלט עם טמפרטורה נמוכה של 0.1, כך שהן אמורות להיות ממוקדות בטקסט.

מתאים ל

• תשאול מסמכים קצרים

  שליפת עובדות ותשובות ממוקדות מתוך קובץ PDF קיים באמצעות שאלות ישירות בצ'אט.

• בדיקת מודלים שונים

  השוואה מהירה בין שלושת המודלים הנתמכים על אותו מסמך כדי לראות מי מחזיר תשובה מדויקת יותר.

• בסיס לקוד LangChain

  העתקת הלוגיקה מתוך app.py כדי לבנות יישום RAG עצמאי עם Chroma ו־Gradio.

איפה זה נופל

הבעיה המרכזית כרגע היא שהיישום עצמו מוקפא ולא מגיב. מעבר לזה, האפליקציה משתמשת ב־OnlinePDFLoader וב־CharacterTextSplitter בסיסי מאוד, בלי ניקוי עמוק של מבנה המסמך או טבלאות מורכבות. אורך התשובה מוגבל ל־250 טוקנים בלבד, כך שלא תקבלו כאן סיכומים ארוכים, והמודלים שמוצעים שם ישנים ביחס למה שקיים היום.

איך משתמשים

טוענים קובץ באמצעות כפתור ההעלאה, בוחרים מודל בתפריט ולוחצים על Load pdf to langchain כדי לבצע את העיבוד. ברגע שתיבת הסטטוס מתעדכנת, מקלידים שאלה בתיבה התחתונה ושולחים.

היישום רץ במקור על חומרת t4-small, אבל כרגע הוא במצב מושהה ולא פעיל בדפדפן. כדי להשתמש בו צריך להעתיק את הקוד ולהריץ אותו בסביבה משלכם.

הרישיון

היוצר לא הגדיר רישיון בקוד. המשמעות היא שאין הרשאה ברורה להשתמש בקוד לפרויקטים מסחריים או לשנות אותו בחופשיות. הקבצים שמועלים מעובדים דרך השרתים של האפליקציה ו־Hugging Face, ולכן לא מומלץ להעלות לשם חומר רגיש.

הרישיון המלא ב־Hugging Face ↗