HaluBench

מה זה

בפנים תמצאו רשומות שמורכבות מארבעה שדות קבועים: שאלה, הקשר טקסטואלי, תשובה ותווית בינארית שקובעת אם התשובה כוללת הזיה ביחס להקשר. המטרה פה היא לא לבדוק סתם ידע כללי של מודל שפה, אלא לראות אם הוא ממציא עובדות כשיש לו טקסט מקור ברור מול העיניים.

היוצרים לא ישבו לכתוב הכל מאפס. הם אספו ובנו את המאגר מתוך שורה של מאגרי שאלות ותשובות קיימים, כולל FinanceBench, PubmedQA, CovidQA, HaluEval, DROP וגם RAGTruth. החיבור הזה מערבב משימות RAG מורכבות עם טקסטים פיננסיים ומאמרים מדעיים, כדי שהבדיקה תדמה מקרים שבהם טעות של מודל יכולה לעלות כסף או לפגוע באנשים.

מתאים ל

• הערכת ביצועי RAG

  בדיקה אוטומטית של רמת ההזיות במערכות אחזור מידע מול טקסט מקור נתון.

• בנצ'מרק לגלאי הזיות

  השוואת ביצועים בין מודלים ייעודיים לבקרת איכות על פי מדדים קבועים מראש.

• מחקר אקדמי בנושא עמידות

  ניתוח נקודות הכשל של מודלי שפה בתחומי רפואה וכלכלה לצורכי פרסום מדעי.

איפה זה נופל

כל החומר כאן הוא באנגלית בלבד. אם המוצר שלכם עובד בעברית, הנתונים האלה לא יעזרו לכם לבדוק הזיות בשפת המקור בלי תרגום, ותרגום עלול לקלקל את אמינות התיוג. בנוסף, מדובר בהרכבה ממאגרים קיימים, והכרטיס לא מפרט איך בוצע התיוג בפועל, מי החליט מה מוגדר כהזיה או מה יחס התוויות החיוביות והשליליות. לפני שמסתמכים על התוצאות, חייבים לדגום ידנית כמה עשרות דוגמאות ולוודא שההגדרות מתאימות למה שאתם מחפשים.

איך טוענים

טוענים את המאגר ישירות מקובץ הפרקט שנמצא תחת תיקיית המידע באמצעות ספריית הדאטהסטים הרגילה של פייתון. אין כאן שום צורך באישור גישה ידני או בטפסים מול היוצרים, הכל פתוח להורדה ישירה. השדות העיקריים שצריך לחלץ בלולאת הבדיקה הם context, question, answer וכמובן הציון הבינארי בשדה label, שמולו משווים את הפלט של הגלאי שלכם.

from datasets import load_dataset

ds = load_dataset("PatronusAI/HaluBench")

הרישיון

הרישיון הוא cc-by-nc-2.0, וזה אומר שאסור להשתמש בחומר לשום מטרה מסחרית. מותר להוריד, לחקור, לנתח ולהריץ הערכות במסגרת אקדמית או פנימית שאינה מניבה רווח, תוך מתן קרדיט ליוצרים. אימון מודל על הנתונים האלה לצורך שילובו במוצר מסחרי מפר את תנאי הרישיון בצורה ברורה.

הרישיון המלא ב־Hugging Face ↗