auto-evaluator

מה זה

אתם מזינים מסמכים, והמערכת מייצרת מהם זוגות של שאלות ותשובות בעזרת GPT-3.5-turbo אם לא הבאתם סט מוכן משלכם. לאחר מכן היא מריצה שרשרת שאלות ותשובות לפי הגדרות שקבעתם בממשק, ועונה על כל שאלה שנוצרה.

מתחת למכסה רצים LangChain ו־LlamaIndex, עם תמיכה במודלים כמו GPT-3.5-turbo, Anthropic, ואפשרות ל־google/flan-t5-xl מ־Hugging Face. לבסוף, מודל שפה משמש כשופט ובודק את התשובות מול המקור, מה שמאפשר לראות ציונים בגרפים של Altair ולהשוות שיטות פיצול, גודל מקטעים ושליפה.

מתאים ל

• השוואת גודל מקטעים

  בדיקה של ביצועי השליפה והתשובות כאשר משנים את גודל המקטעים והחפיפה ביניהם בטקסט.

• בחירת שיטת שליפה

  הרצת מבחן השוואתי בין מאגרי FAISS לבין שליפה מבוססת SVM או TFIDF על אותם מסמכים.

• בדיקת פרומפטים לשיפוט

  בחינת האופן שבו ניסוחי פרומפט שונים משפיעים על הציון שמודל השפה נותן לתשובות שנוצרו.

איפה זה נופל

ההדגמה הנוכחית בעמוד פשוט לא עובדת עקב שגיאת ריצה, כך שאי אפשר להתרשם ממנה בדפדפן בלי להוריד את הקוד. בנוסף, כל ההערכה נשענת על מודל שפה ששופט מודל שפה אחר, שיטה שעלולה להכניס הטיות משלה. הממשק גם מוגבל בתלות במפתחות צד שלישי בתשלום, והחומרה שמוקצית לו היא מעבד בסיסי בלבד.

איך משתמשים

בפועל בוחרים בממשק Streamlit פרמטרים כמו שיטת פיצול טקסט, גודל מקטע, סוג וקטורים ומספר שכנים לשליפה. המרחב כרגע במצב של תקלת ריצה, ולכן אי אפשר להריץ אותו ישירות שם בלי לתקן את הסביבה. אם מריצים מקומית לפי ההוראות, תצטרכו להזין מפתחות API של OpenAI עם גישה ל־GPT-4 ושל Anthropic כדי להשתמש בכל אפשרויות ברירת המחדל.

הרישיון

הקוד מופץ תחת רישיון MIT, מה שמאפשר להוריד, לשנות ולהריץ אותו באופן חופשי לחלוטין. התוכן והמסמכים שתעלו תלויים במדיניות השמירה של ספקי המודלים שבהם תבחרו להשתמש, כמו OpenAI או Anthropic.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗