MemoryBench

מה זה

המאגר מחולק לסטים שונים של אימונים ומבחנים שמתמקדים בשיחות מתמשכות, כמו DialSim ו־Locomo. הרשומות כוללות היסטוריית שיחה שנוצרה מאינטראקציה בין מודלים, כגון Qwen3-8B בתפקיד העוזר ו־Qwen3-32B או Mistral בתפקיד המשתמש שמייצר משוב מרומז. כל רשומה כוללת מזהה ייחודי, פרומפט כניסה, שפת הטקסט, מידע נוסף לצורך הערכת איכות התשובה, וגרסאות שונות של היסטוריית השיחה בהתאם למודל שדימה את המשתמש.

חלק מהמידע מגיע מתמלילים מובנים של סדרות מוכרות כמו המפץ הגדול, חברים והמשרד, המאוחסנים כקבצי קורפוס ייעודיים. הנתונים האלה מספקים הקשר ארוך שמאפשר לבחון אחזור פרטים לאורך זמן, כאשר המאגר משלב את הטקסטים הללו עם תרחישי שיחה שנבנו כדי לאתגר יכולות זיכרון במודלים שונים.

מתאים ל

• הערכת זיכרון ארוך

  בדיקת יכולת המודל לשלוף עובדות ישנות מתוך שיחות ממושכות.

• אימון על משוב מרומז

  התאמת המודל לתיקון טעויות על בסיס תגובות עקיפות של משתמשים.

• מבחני למידה מתמשכת

  מדידת יכולת ההסתגלות של סוכני שיחה למידע חדש ללא אימון מחדש.

איפה זה נופל

ההטיה הבולטת ביותר היא שהמשוב והאינטראקציות נוצרו ברובם על ידי מודלים כמו Qwen3 ו־Mistral ולא על ידי אנשים אמיתיים. אם אתם בונים מערכת למשתמשי קצה, התנהגות אנושית לא תמיד מתיישרת עם סימולציה כזו. בנוסף, המאגר תומך רק באנגלית ובסינית, כך שהוא לא יסייע לכם בפיתוח מערכות שצריכות לזכור פרטים בעברית.

איך טוענים

טוענים את הנתונים דרך ספריית datasets באמצעות load_dataset, ישירות מהמאגר או מתיקייה מקומית לאחר הורדה ב־huggingface-cli. הקבצים מגיעים בפורמט jsonl בתוך 211 קבצים שונים. הגישה חופשית ואין צורך באישור מיוחד. השדות המרכזיים שחובה לעבוד איתם הם input_prompt, dialog ו־implicit_feedback, לצד קריאת קובצי הטקסט מתיקיית corpus עבור משימות הקשר ארוך.

from datasets import load_dataset

ds = load_dataset("THUIR/MemoryBench")

הרישיון

המאגר מופץ תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים ומחקריים, לשנות אותו ולשלב אותו במוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים המקורית. אימון מודל על הנתונים אינו מחייב אתכם לפתוח את הקוד שלכם או להפיץ את המשקולות תחת אותו רישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗