Bitext-retail-ecommerce-llm-chatbot-training-dataset
קוד פתוחbitextcdla-sharing-1.02024-08-05
המאגר מרכז כמעט 45 אלף זוגות הוראה ומענה באיקומרס, מתויגים לפי כוונות וסגנון שיחה. הוא מיועד למי שרוצה לאמן בוט שירות בלי לייצר פניות משתמשים מאפס.
- 668הורדות בחודש
- 19לייקים
מה זה
הנתונים כוללים 44,884 רשומות שמחולקות ל־46 כוונות שונות תחת 13 קטגוריות מרכזיות בעולם הקמעונאות, כמו משלוחים, ביטול הזמנות, החזרות ותשלומים. לכל כוונה יש בערך 1,000 דוגמאות. כל שורה בטבלה כוללת את הוראת המשתמש, קטגוריה, כוונה, תשובה לדוגמה, ותגיות סגנון שמסמנות מבנה תחבירי, שגיאות כתיב או שפה בוטה.
מקור המידע אינו תמלול שיחות אמיתיות של לקוחות, אלא יצירה היברידית סינתטית. חברת Bitext הפיקה את המלל באמצעות כלי שפה אוטומטיים וכלי תיוג פנימיים, והטמיעה 2,970 סוגי ישויות שמופיעות בתוך הטקסטים כתבניות סגורות בסוגריים מסולסלים.
מתאים ל
- אימון זיהוי כוונות
סיווג פניות משתמשים לקמעונאות לפי 46 כוונות ו־13 קטגוריות שירות קבועות.
- התאמת שפה לבוטים
כוונון מודלים להתמודדות עם שגיאות כתיב, שפה בוטה וסלנג בפניות שירות באנגלית.
- בדיקת חילוץ ישויות
אימון ובדיקה של זיהוי שדות כמו מספרי מעקב, כתובות מייל והיסטוריית הזמנות.
איפה זה נופל
זהו מאגר סינתטי מלא באנגלית בלבד, ואין בו מילה בעברית או התאמה להרגלי צריכה מקומיים. המענה מכיל שדות ישויות כלליים, כך שאי אפשר להשתמש בתשובות כמו שהן בלי לחבר מערכת שמזריקה מידע אמיתי. בנוסף, למרות שיש תיוג לשגיאות כתיב, ניסוחים שנוצרו במחולל נוטים להיות סטריליים יותר מפניות כאוטיות של לקוחות אמיתיים בצ'אט.
שאלות
נפוצות
האם המאגר מתאים לבוט שירות לקוחות בעברית?
לא. כל 44,884 הדוגמאות כתובות באנגלית בלבד. כדי להשתמש בו למוצר ישראלי תצטרכו לתרגם את הנתונים, מה שעלול לפגוע בתיוגי השפה והסלנג שנוצרו במקור.
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
כן, רישיון CDLA-Sharing 1.0 מאפשר שימוש מסחרי, אך כולל דרישת שיתוף זהה שמחייבת לפרסם נתונים נגזרים שתפיצו. חברות צריכות לבדוק עם הייעוץ המשפטי שלהן האם שחרור המודל נחשב הפצה של הדאטה.
מאיפה הגיעו השיחות האלה?
הטקסטים לא נלקחו ממוקדי שירות אמיתיים אלא יוצרו באופן היברידי-סינתטי על ידי חברת Bitext. החברה השתמשה בכלי שפה ותיוג אוטומטיים כדי לדמות כ־1,000 ניסוחים שונים לכל אחת מ־46 הכוונות.
כמה שוקל הקובץ ואיך הוא בנוי?
המאגר מכיל קובץ csv יחיד עם חמש עמודות וכ־8.47 מיליון טוקנים. המשקל קל מאוד ונטען ישירות בכל סביבת פייתון סטנדרטית בלי דרישות חומרה חריגות.
איך טוענים
המאגר מגיע כקובץ csv יחיד שפתוח להורדה ישירה ללא צורך בהרשמה מיוחדת או באישור גישה. הוא כולל בסך הכל 8.47 מיליון טוקנים בעמודות ההוראה והמענה יחד, כך שנפח האחסון והדרישות החישוביות לטעינה בסיסית בפנדס או בהאגינג פייס נמוכים מאוד. בעבודה עם הקובץ חשוב לנקות או להחליף את מחזיקי המקום של הישויות, כי התשובות מכילות ערכים מופשטים כמו כתובות אתר ושמות.
from datasets import load_dataset
ds = load_dataset("bitext/Bitext-retail-ecommerce-llm-chatbot-training-dataset")הרישיון
המאגר מופץ תחת רישיון CDLA-Sharing 1.0 שמחייב מתן קרדיט ושיתוף מאגרים נגזרים תחת אותם תנאים. השימוש המסחרי מותר, אך אם אתם משנים את הנתונים עצמם ומפיצים אותם, חובה לשחרר את השינויים באותו רישיון. משקל הרישיון על משקלי המודל המאומן תלוי בפרשנות המשפטית של יצירת תוצר נגזר מנתונים, ולכן צוותים משפטיים רבים בוחנים בזהירות אימונים מסחריים סגורים על בסיסו.