rag-hallucination-dataset-1000

מה זה

כל רשומה מורכבת משלושה שדות פשוטים: טקסט מקור, שאלה ותשובה. טקסט המקור נלקח מתוך מאגר הנתונים של פאלקון ריפיינד-ווב, והשאלות נוצרו בעזרת ג'י-פי-טי 4 כך שאי אפשר יהיה לענות עליהן מתוך הקטע המצורף בלבד. השדה השלישי הוא תשובה קבועה לחלוטין שאומרת במפורש שהשאלה אינה ניתנת למענה.

בסך הכל יש כאן בדיוק אלף דוגמאות שמחולקות לשני חלקים בלבד. שמונה מאות דוגמאות מיועדות לאימון ומאתיים דוגמאות שמורות לבדיקה. אין פה חלוקה מורכבת לנושאים, סיווגים נוספים או סינון ידני מדווח מעבר לתהליך היצירה האוטומטי.

מתאים ל

• אימון מודל RAG לסרבנות

  לימוד מודלים לזהות שאלות שאין להן מענה בטקסט ולסרב לענות.

• בנצ'מרק להזיות

  בדיקת הנטייה של מודל להמציא עובדות מול שאלות חסרות בסיס.

• שילוב בדאטהסט אימון רחב

  הוספת דוגמאות שליליות כדי לאזן מאגרי שאלות ותשובות קיימים.

איפה זה נופל

זה מאגר קטן מאוד של אלף דוגמאות בלבד, כך שהוא לא יחזיק אימון שלם אלא רק ישמש תוספת קטנה. התשובה בכל הדוגמאות אחידה לחלוטין ומכילה מחרוזת אחת קבועה, מה שעלול לגרום למודל לחזור עליה כמו תוכי במקום לפתח ניסוחים גמישים. המאגר כולו באנגלית ואין בו מילה אחת בעברית. הנתונים מבוססים על גזירה מריפיינד-ווב ויצירה סינתטית על ידי ג'י-פי-טי 4 מאוגוסט 2023, ללא בדיקת איכות אנושית מדווחת.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית דאטהסטס באמצעות הזנת המזהה של נוירל ברידג'. הגישה חופשית לגמרי ואינה דורשת אישור, הרשמה מיוחדת או מפתחות גישה פרטיים. המאגר מורכב מארבעה קבצים, והדוגמאות עצמן שמורות בשני קובצי פארקט נפרדים לאימון ולבדיקה. הקבצים קטנים מאוד וייטענו בשניות ספורות גם בסביבת עבודה מקומית וצנועה. שלושת השדות שחוזרים בכל רשומה הם קונטקסט, קוושצ'ן ואנסוור.

from datasets import load_dataset

ds = load_dataset("neural-bridge/rag-hallucination-dataset-1000")

הרישיון

המאגר מופץ תחת רישיון אפאצ'י 2.0, שמתיר שימוש מסחרי, שינוי והפצה של הנתונים ושל מודלים שאומנו עליהם, בתנאי ששומרים על הודעת זכויות היוצרים והייחוס. יחד עם זאת, הכרטיס מציין במפורש שחובה לציית גם לתנאי השימוש של פאלקון ריפיינד-ווב שמהם נלקחו הטקסטים המקוריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗