LangChain-ChatLLM

מה זה

אתם מעלים קבצי טקסט בפורמטים txt, docx או md, ומקלידים שאלות בחלון הצ'אט. המערכת מחזירה תשובות שנשענות על תוכן הקבצים שלכם או על תוצאות חיפוש מ־DuckDuckGo אם בחרתם להפעיל את האפשרות הזאת.

מאחורי הקלעים רצים מודלים שמותאמים בעיקר לסינית, כמו גרסאות שונות של ChatGLM-6B בכימות של 4 או 8 ביט, יחד עם מודלי ERNIE ומודל text2vec-base-chinese לשיקוע טקסט. החלוקה למקטעים מתבצעת בעזרת מפצל ייעודי לסינית, והווקטורים נשמרים ב־FAISS לצורך אחזור לפני שהשאילתה מועברת למודל השפה דרך LangChain.

מתאים ל

• תשאול מסמכים בסינית

  העלאת קובצי docx או txt לקבלת תשובות מבוססות תוכן מקומי.

• שילוב חיפוש רשת

  הפעלת חיפוש ב־DuckDuckGo לקבלת הקשר עדכני לפני מענה המודל.

• בדיקת מודלי ChatGLM

  השוואת ביצועים בין רמות כימות שונות של ChatGLM-6B.

איפה זה נופל

המגבלה המיידית היא שהאפליקציה קרסה ולא עובדת כרגע. מעבר לכך, כל כלי העיבוד והמודלים מותאמים מראש לסינית, כולל מפצל הטקסט והממשק עצמו, כך שאין כאן התאמה לשפות אחרות. אל תבנו על זה כפתרון מוכן לעבודה יומיומית.

איך משתמשים

בממשק בוחרים מודל שפה ומודל שיקוע מתפריטים נפתחים, מעלים את המסמך וקובעים פרמטרים כמו טמפרטורה, היסטוריית שיחה וכמות תוצאות לאחזור. לאחר מכן מקלידים את השאלה ולוחצים על כפתור השליחה. בפועל האפליקציה נמצאת כרגע במצב שגיאת ריצה על חומרת t4-medium, כך שאי אפשר להריץ אותה בדפדפן בלי שמישהו יתקן אותה קודם.

הרישיון

הקוד מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שינויים והפצה מסחרית. לגבי הקבצים שאתם מעלים, הם נשלחים לשרת שעליו רץ ה־Space ואין פירוט לגבי אופן שמירתם או מחיקתם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗