saiga_13b_llamacpp_retrieval_qa
רץ בדפדפןIlyaGusevרישיון לא דווח2023-05-27
העלאת מסמכים ושאילת שאלות עליהם באמצעות מודל שפה ומודל הטמעה. מתאים למי שרוצה לבדוק שליפת מידע מקבצים ברוסית בלי להגדיר תשתית בעצמו.
- —הורדות בחודש
- 47לייקים
מה זה
אתם מעלים קבצים לממשק, קובעים את גודל החיתוך וחפיפת הטקסט, ומקלידים שאלה בתיבת השיחה. המערכת מחזירה תשובה מבוססת תוכן בתוך חלון צ'אט, לצד תיבה שמציגה את קטעי המקור שנשלפו מתוך המסמכים.
מאחורי הקלעים הקוד משתמש ב־RecursiveCharacterTextSplitter של LangChain כדי לפרק את הקבצים. הוא מחשב דמיון קוסינוס בעזרת מודל ההטמעה הרב-לשוני paraphrase-multilingual-mpnet-base-v2, ושולח את התוצאות למודל Saiga 13b בפורמט GGUF דרך ספריית llama.cpp. יש שליטה ידנית במספר המסמכים לשליפה ובפרמטרים כמו top_p, top_k וטמפרטורה.
מתאים ל
- תחקור מסמכים ברוסית
העלאת קובצי טקסט ושאילת שאלות נקודתיות כדי לקבל תשובות על בסיס התוכן שלהם.
- בדיקת פרמטרי חיתוך
ניסוי עם גודל מקטעים וחפיפה כדי לראות אילו קטעים נשלפים בפועל לפי חישוב הדמיון.
- בחינת Saiga 13b
בדיקת יכולות הניסוח והדיוק של המודל המכומת מול קטעי מידע מוגדרים מראש.
איפה זה נופל
נכון לעכשיו המרחב נמצא במצב מושהה, כך שאי אפשר להריץ אותו ישירות בדפדפן בלי להפעיל אותו מחדש. הממשק כולו בנוי ברוסית ומכוון למודל Saiga שמאומן בעיקר על שפה זו, ולכן הוא לא מתאים לעבודה שוטפת בעברית. בנוסף, חומרת המעבד הבסיסית לא מספקת מהירות סבירה למסמכים כבדים.
שאלות
נפוצות
האם הממשק פתוח כרגע לשימוש?
לא. המרחב נמצא במצב מושהה, ולכן אי אפשר לשלוח בו הודעות בדפדפן עד שיפעילו אותו מחדש.
כמה זמן לוקח לקבל תשובה?
הרבה זמן ביחס למערכות עם מעבדים גרפיים. המודל שוקל 13 מיליארד פרמטרים ורץ על חומרת מעבד בסיסית, כך שהעיבוד של כל שאילתה איטי.
האם אפשר להריץ את זה מקומית?
כן. הקוד מבוסס על ספריות סטנדרטיות כמו llama.cpp ו־LangChain, ומשתמש במודלים פתוחים שניתן להוריד ולהפעיל על מחשב אישי חזק.
מה קורה לקבצים שאני מעלה?
הקבצים מעובדים בזיכרון השרת הזמני לצורך חיתוך ושליפה. עם זאת, מאחר שלא דווח רישיון או פירוט על שמירת המידע, עדיף לא להעלות חומרים רגישים.
איך משתמשים
טוענים קבצים ישירות לתוך שדה ההעלאה, מגדירים את גודל המקטעים ולוחצים על שליחה כדי להתחיל שיחה. אין צורך בחשבון או בהתחברות כדי לגשת לממשק. הביצועים בפועל מוגבלים מאוד כי המרחב מוגדר על מעבד בסיסי בלבד, וריצה של מודל 13 מיליארד פרמטרים על מעבד כזה דורשת זמן המתנה ארוך לכל תשובה.
הרישיון
הרישיון של המרחב לא דווח. המשמעות היא שאין תנאי שימוש ברורים לגבי זכויות היוצרים על הקוד, ואין ערובה לגבי האופן שבו המידע או הקבצים שמועלים נשמרים ברמת השרת.