T-ECD
קוד פתוחt-techcc-by-nc-sa-4.02025-09-22
מאגר ענק של כ־135 מיליארד אינטראקציות מסחר ומערכות המלצה מחמישה תחומים מקושרים. הוא פותר את בעיית המחסור בנתוני התנהגות רב תחומיים אמיתיים מאותו משתמש.
- 1,871הורדות בחודש
- 36לייקים
מה זה
המאגר מציג פעילות של כ־44 מיליון משתמשים מול כ־30 מיליון פריטים לאורך מעל 1,300 ימים במערכת השירותים של T-Bank. הנתונים מתעדים חמישה תחומים: זירת מסחר (Marketplace), משלוחי קמעונאות (Retail), עסקאות תשלומים (Payments), תגובות להצעות שיווקיות (Offers), וביקורות ודירוגים (Reviews). הקישור הרב תחומי מבוסס על מזהי משתמשים ומזהי מותגים שזהים לחלוטין בכל הקבצים.
המקור מגיע מלוגים חיים שעברו דגימה, הסרת מזהים ישירים וערפול מבוקר שכולל רעש בחותמות זמן, טשטוש ערכים מספריים, הכללת ערכים נדירים והזרקת אירועים סינתטיים קלים. מלבד הגרסה המלאה, ישנה גרסת T-ECD Small עם כמיליארד אינטראקציות לאורך כ־200 ימים בארבעה תחומים, ללא עולם התשלומים.
מתאים ל
- אימון המלצות חוצות תחומים
למידת העדפות משתמשים בין זירות מסחר לקמעונאות ותשלומים בעזרת מזהים אחידים.
- בנצ'מרק למודלי סיקוונס
הערכת ביצועי מודלי המלצה על רצפי אירועים ארוכים מאוד לאורך מאות ימים.
- מחקר על אובדן מידע בפרטיות
בדיקת השפעת מנגנוני ערפול ורעש סינתטי על דיוק המודלים ביחס למדידות המאמר.
איפה זה נופל
האנונימיזציה גובה מחיר אמיתי בדיוק. היוצרים מדדו בעצמם צניחה של בין 20 ל־35 אחוזים במדד Recall@200 לעומת הנתונים המקוריים, אף שהדירוג היחסי בין המודלים נשמר. בנוסף, חובה להשאיר מרווח של 12 שעות לפחות בין האירוע האחרון לנקודת החיזוי כדי למנוע דליפת מידע עקב רעש הזמנים. הטקסטים של הביקורות לא קיימים אלא רק אמבדינגס מוכנים מראש, העומק ההיסטורי לא אחיד בין השירותים, וכל הנתונים מגיעים ממשתמשים ברוסיה בשפות רוסית ואנגלית ללא נגיעה לישראל.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח אלגוריתם מסחרי?
לא. הרישיון הוא CC BY-NC-SA 4.0, מה שאומר שהשימוש מוגבל למחקר ללא מטרות רווח. אי אפשר להשתמש בנתונים או במודלים שאומנו עליהם כחלק ממוצר מסחרי.
האם יש במאגר נתוני טקסט בעברית?
אין בו עברית כלל. הנתונים מתעדים פעילות של משתמשי בנק ברוסיה, והשפות המוגדרות במאגר הן רוסית ואנגלית. גם ביקורות המשתמשים לא כוללות טקסט גולמי אלא וקטורים מוכנים.
איך המאגר מונע פגיעה בפרטיות המשתמשים?
החוקרים החליפו מזהים בפסאודו-מזהים, הסירו מאפיינים רגישים, והוסיפו רעש מכויל לחותמות הזמן ולערכים המספריים. בנוסף הם ביצעו הכללה לערכים נדירים והזריקו אירועים סינתטיים קלים.
כמה המאגר שוקל והאם אפשר להוריד רק חלק?
המאגר המלא כולל כ־135 מיליארד רשומות על פני 6,872 קובצי Parquet, כך שמדובר בנפח חריג בגודלו. ניתן להשתמש בסקריפט tecd_downloader שמסופק במאגר כדי להוריד תחומים בודדים, או להשתמש בגרסת Small שמכילה כמיליארד רשומות בלבד.
איך טוענים
הנתונים מחולקים למעל 6,800 קובצי Parquet לפי ימים ותחומים, עם קטלוגים נפרדים למשתמשים, מותגים ופריטים. הורדה של הכל בבת אחת דרך snapshot_download ב־Hugging Face דורשת טוקן וכנראה תחנוק לכם את האחסון המקומי, לכן היוצרים סיפקו סקריפט ייעודי בשם tecd_downloader.py שמאפשר למשוך רק תחומים או טווחי ימים מסוימים. כדי לחבר בין הטבלאות תצטרכו להסתמך בעיקר על מזהי user_id, brand_id ו־item_id.
from datasets import load_dataset
ds = load_dataset("t-tech/T-ECD")הרישיון
המאגר משוחרר ברישיון CC BY-NC-SA 4.0 שחוסם שימוש מסחרי מכל סוג. הוא מיועד למחקר אקדמי בלבד, מחייב מתן קרדיט מלא ליוצרים, וכל נגזרת או עיבוד שלו חייבים להתפרסם תחת אותם תנאים בדיוק. אם תאמנו עליו מודל, אסור יהיה להטמיע אותו במוצר שמייצר הכנסה.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא