RHELM

מה זה

הנתונים מורכבים משיחות מתוארכות, שרשורי דואר אלקטרוני ומסמכים מצורפים שנבנו סביב עשר דמויות פיקטיביות. בסך הכל יש כאן 1,305 שאלות ותשובות מאומתות, 629 שיחות, 625 מיילים ו־1,053 קבצי נספחים. כל הדמויות, האירועים והפרטים האישיים במאגר הם סינתטיים לחלוטין.

המבנה מחולק לתיקיות לפי מקורות המידע: שיחות שמורות בקבצי JSON, מיילים בקבצי טקסט, ומסמכים בקבצי Markdown או HTML. קובצי השאלות והתשובות מגיעים בפורמט JSONL ומכילים מזהה ייחודי, שאלה, תשובה, תאריך השאלה, סוג האתגר, ראיות תומכות ומאפיינים ספציפיים. השאלות בודקות שבעה תחומים שונים, כולל עובדות ישירות, שינויים על ציר זמן, חיבור מידע ממספר מקורות, וזיהוי של הזיות או שאלות מטעות.

מתאים ל

• בדיקת זיכרון לאורך זמן

  הערכת היכולת של עוזר דיגיטלי לזכור פרטים שנמסרו בשיחות קודמות לפני חודשים.

• אינטגרציית מקורות מידע

  מדידת ביצועים של מערכות RAG שצריכות להצליב נתונים מתוך מיילים ומסמכים במקביל.

• בלימת הזיות של מודלים

  בחינת יכולת המודל לזהות הנחות שגויות בשאלות מטעות ולסרב לענות עליהן.

איפה זה נופל

כל החומרים כתובים באנגלית בלבד. אם המוצר שלכם מיועד לפעול בעברית, המאגר הזה לא ייתן לכם שום אינדיקציה ליכולות המודל בשפה המקומית. בנוסף, מדובר בדאטה סינתטי לגמרי, כך שניסוחי השיחות והמסמכים עשויים להיות מובנים ומסודרים יותר מבלגן אמיתי של לקוחות בארגון. גודל הבדיקה כולל 1,305 שאלות בלבד, כך שהוא מתאים בעיקר להערכה ובנצ'מרק ולא לאימון מודל מאפס.

איך טוענים

טעינת השאלות מתבצעת ישירות דרך ספריית datasets על ידי הפניה לקובצי ה־JSONL. כדי לבנות את ההקשר המלא ולתת למודל לקרוא את השיחות, המיילים והמסמכים, תצטרכו להוריד את כל המאגר באמצעות snapshot_download. הגישה פתוחה ואינה דורשת אישור מיוחד. השדות המרכזיים לעבודה עם השאלות הם question, answer, question_date, והשדה supporting_evidence שמפנה לקבצים הספציפיים שמהם נגזרה התשובה.

from datasets import load_dataset

ds = load_dataset("microsoft/RHELM")

הרישיון

המאגר מופץ תחת רישיון CC BY 4.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה, כל עוד אתם נותנים קרדיט מתאים למיקרוסופט ומציינים אם נעשו שינויים. אין דרישה לשתף תוצרים באותו רישיון, ומודלים שיאומנו או ייבדקו על החומרים אינם מחויבים לפתוח את הקוד או המשקולות שלהם.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗