hallucination_detector

מה זה

במקום להזין טקסט חופשי משלכם, בוחרים דוגמה מתוך תפריט שמבוסס על מאגר wiki_bio_gpt3_hallucination. הדוגמאות מחולקות לרמות שונות של הזיה, מנמוכה ועד גבוהה, מתוך טקסטים ביוגרפיים שג׳ונרטו ב־GPT-3. הממשק מציג את הפסקה המקורית, ואתם קובעים בסליידר את סף הזיהוי הרצוי בין אפס לאחד.

בלחיצה על הכפתור, המערכת מריצה בדיקה ופולטת שני דברים במקביל. בצד אחד מוצג הטקסט עם מקטעים מודגשים שזוהו כהזיה יחד עם אחוז הזיהוי הכולל. בצד השני, בתוך תפריט נפתח, מופיע תיוג אנושי אמיתי של אותה הדוגמה, כולל האחוז שהוגדר כהזיה בפועל, כדי שתוכלו להשוות בעיניים את הדיוק של האלגוריתם מול האמת בשטח.

מתאים ל

• בדיקת ספי זיהוי

  משחקים עם סליידר הסף כדי לראות איך רגישות הזיהוי משפיעה על כמות ההזיות המדווחות.

• השוואה לתיוג אנושי

  פותחים את נתוני האמת כדי לבדוק איפה המודל מזהה נכון הזיות בטקסט לעומת בני אדם.

• לימוד מבנה הערכה

  בוחנים את הקוד כדי להבין איך לבנות ממשק השוואה לזיהוי שגיאות במודלי שפה.

איפה זה נופל

החיסרון הברור הוא שאי אפשר להקליד או להדביק טקסט עצמאי. הקוד קשור ישירות לאינדקסים מתוך מאגר הדוגמאות של ויקיפדיה, כך שזו הדגמה סגורה בלבד ולא כלי עבודה לפרויקטים פרטיים. בנוסף, המצב הטכני שלה כרגע מושבת בגלל תקלת ריצה, כך שהיא לא שמישה בדפדפן בלי לתקן את הקוד עצמאית.

איך משתמשים

בוחרים דוגמה מהרשימה, מכוונים את הסליידר של הסף אם רוצים לשנות את ברירת המחדל, ולוחצים על הכפתור הראשי. ההרצה אמורה להיות מהירה כי היא מסתמכת על נתונים מובנים ומעבד בסיסי, ללא צורך בהתחברות או תשלום. כרגע לא תצליחו להריץ אותה בדפדפן, כי היא מסומנת בשגיאת ריצה במקור של האתר.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי הקוד והפצה מסחרית. מכיוון שהממשק מאפשר רק בחירה מתוך דוגמאות מובנות מראש, אתם לא מעלים לשם שום תוכן אישי או קבצים פרטיים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗