CRMArenaPro
קוד פתוחSalesforcecc-by-nc-4.02025-05-16
בנצ'מרק שבוחן סוכני שפה בתוך סביבות ניהול קשרי לקוחות ומכירות מורכבות. הוא מתאים למי שרוצה לבדוק התנהגות מודלים בתהליכי שירות ומכירה מרובי שלבים.
- 2,135הורדות בחודש
- 17לייקים
מה זה
המאגר כולל בין אלף לעשרת אלפים רשומות שמחולקות לעולמות B2B ו־B2C. המבנה מבוסס על קובצי סכמה ייעודיים וקבצי משימות בפורמט JSON, עם הפרדה בין משימות רגילות למשימות אינטראקטיביות שמדמות אינטראקציות מרובות שלבים עם פרסונות שונות. המידע מכסה תשע עשרה משימות שעברו תיקוף מומחים בתחומי מכירות, שירות לקוחות ותהליכי תמחור והצעות מחיר (CPQ).
כל רשומה בנויה מארבעה שדות מרכזיים: task שמגדיר את סוג המשימה, metadata שמיועד לשילוב כחלק מפקודת המערכת (system prompt), query עם השאילתה שהסוכן צריך לענות עליה, ו־answer שמכיל את תשובת האמת לצורך הערכה. הדגש כאן הוא על תרחישים עסקיים שכוללים בדיקות למודעות לסודיות ואבטחת מידע, מעבר למענה על שאלות בודדות.
מתאים ל
- בדיקת סוכני מכירות
הערכת היכולת של סוכנים לנהל תהליכי תמחור והצעות מחיר מורכבים בתרחישי B2B ו־B2C.
- מדידת שמירה על סודיות
בחינה האם סוכן שפה חושף מידע עסקי רגיש לאורך שיחה מרובת שלבים מול פרסונות שונות.
- הערכת תהליכי תמיכה
מדידת ביצועים של מודלים מול תרחישי שירות לקוחות מוגדרים מראש הדורשים דיוק בנתונים.
איפה זה נופל
הנתונים כולם באנגלית, כך שאין כאן שום כיסוי לשפה העברית או לדקויות של מערכות CRM מקומיות בישראל. מעבר לזה, המפרסמים מציינים במפורש שהדאטהסט שוחרר למטרות מחקר בלבד ולא נבדק או הותאם לשימושים במורד הזרם (downstream). אם אתם בונים על זה כבסיס למוצר שפוגש לקוחות אמיתיים, תצטרכו לבדוק בעצמכם היבטי דיוק ובטיחות, בייחוד בכל מה שנוגע למידע רגיש וסודיות עסקית.
שאלות
נפוצות
האם מותר להשתמש בזה כדי לאמן מודל מסחרי?
לא. הרישיון הוא cc-by-nc-4.0, מה שאוסר שימוש מסחרי מכל סוג. הוא מיועד למחקר בלבד, וכל תוצר שתפיצו על בסיסו כפוף למגבלה הלא-מסחרית ולחובת ייחוס ליוצרים.
האם הדאטהסט כולל תמיכה בעברית?
לא, כל הנתונים מוגדרים תחת השפה האנגלית בלבד. אם המערכת שלכם עובדת מול ממשקים או לקוחות בעברית, תצטרכו לבצע התאמות ותרגום בעצמכם או לבנות בנצ'מרק מקומי.
מה מבדיל אותו מבנצ'מרקים רגילים של שפה?
הוא מתמקד באופן ספציפי בעבודה מול סכמות של מערכות CRM וכולל תרחישים אינטראקטיביים עם שלבים מרובים. בנוסף, יש בו משימות CPQ מורכבות ומבחנים למודעות של הסוכן לשמירה על סודיות המידע העסקי.
איך טוענים
אין צורך באישור גישה כדי להוריד את הקבצים. המאגר מכיל שמונה קבצים בסך הכל, כשהנתונים עצמם מאורגנים ישירות בקובצי JSON כמו tasks_b2b.json או tasks_b2c_interactive.json לצד קובצי סכמה. בעת הטעינה חשוב לקרוא את שדה ה־metadata ולהזריק אותו ישירות לפרומפט המערכת, כי בלעדיו הסוכן לא יקבל את ההקשר הדרוש כדי לייצר את התשובה שמופיעה ב־answer.
from datasets import load_dataset
ds = load_dataset("Salesforce/CRMArenaPro")הרישיון
הרישיון הוא cc-by-nc-4.0. המשמעות ברורה וחדה: מותר להשתמש בנתונים למחקר ולניסויים פנימיים, תוך מתן קרדיט ליוצרים, אבל אסור לעשות בהם שום שימוש מסחרי ישיר. מודל שאומן על הדאטהסט הזה לא יוכל להימכר כמוצר מסחרי סגור.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא