PersonaMem-v1

מה זה

הנתונים מחולקים לפי שלושה אורכי הקשר: 32 אלף טוקנים, 128 אלף טוקנים ומיליון טוקנים. בכל חלוקה יש זוג קבצים. קובץ הדיאלוגים מורכב מרשימות של היסטוריית שיחות בין משתמש למודל, וקובץ השאלות מכיל שאילתות ספציפיות שבוחנות שבעה כישורי זיכרון, יחד עם התשובה הנכונה ואפשרויות הבחירה.

כל רשומה מייצגת פרופיל משתמש הכולל מאפיינים קבועים, כמו נתונים דמוגרפיים, לצד העדפות דינמיות שמשתנות מסשן לסשן. השיחות עצמן עוסקות בנושאים כמו המלצות על אוכל, תכנון טיולים וייעוץ, והן נוצרו באמצעות תהליך יצירת דיאלוג סינתטי שמדמה שינויי הקשר מציאותיים על פני זמן.

מתאים ל

• מבחן זיכרון ארוך טווח

  בדיקת יכולת המודל לאתר עובדות ושינויי העדפות בתוך הקשר של עד מיליון טוקנים.

• הערכת צ'אטבוט מותאם אישית

  מדידת הדיוק של מודל שיחה במתן המלצות שמתאימות להיסטוריה של המשתמש.

• ניתוח מעקב אחרי העדפות

  הערכה כמותית של יכולת המערכת לעקוב אחרי הסיבות לשינוי בטעמו של הלקוח.

איפה זה נופל

כל השיחות במאגר נוצרו בצורה סינתטית ולא מול משתמשים אמיתיים, מה שאומר שהניסוחים והתנהגות המשתמשים עלולים להרגיש מלאכותיים. בנוסף, המאגר כולו באנגלית בלבד. אם אתם בונים מוצר שמיועד לעברית או מבוסס על סלנג מקומי, הנתונים האלה לא יספקו לכם תמונה אמיתית לגבי ביצועי המודל.

אותה משפחה

PersonaMem יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך טוענים

המאגר פתוח להורדה ישירה דרך Hugging Face ללא צורך באישור גישה. כדי להריץ הערכה בפועל צריך לקרוא את קובץ ה־CSV המכיל את השאלות, ולהצליב אותו עם קובץ ה־JSONL המקביל שמחזיק את היסטוריית השיחה המלאה. החיבור מתבצע באמצעות השדה שמזהה את ההקשר המשותף, יחד עם שדה האינדקס שקובע איפה לחתוך את השיחה עבור כל שאלה.

from datasets import load_dataset

ds = load_dataset("bowen-upenn/PersonaMem-v1")

הרישיון

המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש מסחרי, שינוי, הפצה ואימון של מודלים ללא דרישה לשתף את הקוד תחת אותו רישיון. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים והצהרת הרישיון המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗