Chinese-LangChain

מה זה

בממשק מעלים קבצים בפורמטים כמו PDF, מסמכי docx או מצגות ppt, או שבוחרים מאגר קיים כמו ויקיפדיה בסינית. מקלידים שאלה בתיבת הטקסט ומקבלים תשובה מנומקת בחלון הצ'אט, לצד חלונית נפרדת שמציגה את תוצאות החיפוש והקטעים שנשלפו מהמאגר.

מאחורי הקלעים הפרויקט משלב בין LangChain לבין מודל השיחה ChatGLM-6B, כולל גרסת int4 מכווצת. לצורך שליפת המידע נעשה שימוש במודל הווקטורי text2vec-large-chinese יחד עם אינדקס FAISS לחיפוש דמיון סמנטי. יש כאן גם אפשרות להפעיל חיפוש רשת באמצעות DuckDuckGo כדי להרחיב את המידע מעבר למסמכים.

הממשק מספק שליטה על מספר התוצאות שנשלפות עם מחוון top_k, בחירה בין מודלים שונים ומעבר בין מצב חיפוש למצב שיחה רגיל. המסכים מציגים שיחה שוטפת שבה המודל נשען על קטעי טקסט חיצוניים כדי לענות בצורה מדויקת.

מתאים ל

• תחקור מסמכים בסינית

  העלאת חוזים, קובצי PDF או מצגות בסינית וקבלת תשובות לשאלות ממוקדות מתוכם.

• חיפוש בוויקיפדיה הסינית

  שאילת שאלות על בסיס אינדקס FAISS מוכן שמכיל מאות אלפי ערכים בסינית.

• שילוב חיפוש רשת בשיחה

  הפעלת חיפוש חי דרך DuckDuckGo לצורך קבלת מידע עדכני שאינו קיים בקבצים.

איפה זה נופל

ההדגמה הנוכחית מושבתת לחלוטין ברשת עקב שגיאת ריצה. מעבר לכך, כל כלי הליבה וההטמעות בנויים סביב השפה הסינית, כך שאין טעם לנסות להזין מסמכים בעברית או באנגלית. חיפוש הרשת תלוי בחיבור תקין ל־DuckDuckGo, ומודל ה־6B עדיין נוטה לייצר הזיות אם המסמכים שהועלו אינם מכילים תשובה חד-משמעית.

איך משתמשים

המערכת מוגדרת על חומרת a10g-small, אך כרגע היא במצב שגיאת ריצה (RUNTIME_ERROR) ולכן אי אפשר להריץ אותה ישירות בדפדפן. במצב עבודה תקין מעלים קובץ, לוחצים על כפתור טעינת מאגר הידע, מקלידים שאלה ולוחצים על שליחה. לפי דרישות הפרויקט נחוצים לפחות 9 עד 12 גיגה זיכרון כרטיס מסך כדי להריץ את המודלים.

הרישיון

הקוד והמודלים מפורסמים תחת רישיון openrail. הרישיון מאפשר שימוש חופשי בכפוף למגבלות שימוש אתי ומסחרי מסוימות של משפחת מודלי ChatGLM. קבצים שמעלים לענן ציבורי עלולים להיחשף, ולכן לא מומלץ להעלות מסמכים רגישים.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא ב־Hugging Face ↗