TencentGR-10M
קוד פתוחTAAC2025cc-by-4.02026-03-30
עשרה מיליון רצפי משתמשים עם תיוג חשיפה, הקלקה והמרה ממערכת הפרסום של Tencent. המאגר מציע שילוב נדיר של נתוני התנהגות בקנה מידה עצום לצד וקטורי שיכון מולטימודליים מוכנים.
- 3,664הורדות בחודש
- 15לייקים
מה זה
המאגר מכיל רצפי פעולות של משתמשים שכוללים עד 100 פריטים לרצף, כשלכל אינטראקציה מוצמד חותם זמן וסימון מספרי לחשיפה, קליק או המרה. לצד הרצפים יש טבלאות מאפיינים למשתמשים ולפריטים, וכן רשימת מועמדים ששימשה בתחרות האלגוריתמים של Tencent ללא תוויות אמת. הנתונים נלקחו מיומני פרסום אמיתיים ועברו תהליך של הסרת פרטים מזהים.
כל המאפיינים הטבלאיים, הן של המשתמשים והן של הפריטים, מוצפנים לחלוטין ומופיעים כמספרים חסרי פשר סמנטי. בנוסף, המאגר כולל שישה סטים נפרדים של וקטורי שיכון מולטימודליים עבור הפריטים בממדים שונים, החל מוקטורים קלים של 32 ממדים ועד וקטורים כבדים של 3584 ממדים.
מתאים ל
- אימון מודלי המלצה יוצרת
למידת ייצוגי רצף על התנהגות משתמשים עם אותות חשיפה, הקלקה והמרה.
- שילוב שיכונים מולטימודליים
שילוב וקטורים מוכנים מראש בממדים שונים בתוך ארכיטקטורות המלצה.
- בדיקת אלגוריתמי שליפה
הערכת ביצועי חיפוש ואחזור וקטורי מול קובץ מועמדים רחב.
איפה זה נופל
כל המאפיינים במאגר מוצפנים, כך שאין לכם שום דרך לדעת מה מייצג טור מסוים, מה שמונע לחלוטין ניתוח תוכן או הבנה עסקית של הפיצ'רים. אין נתוני טקסט גולמיים, תמונות או שפה, מה שהופך הקשרים מקומיים כמו עברית ללא רלוונטיים, אלא רק וקטורים מוכנים מראש. בנוסף, רשימת המועמדים לתחרות חסרה תוויות אמת ומכילה פריטים שלא קיימים ברצפי המשתמשים, כך שהיא לא מתאימה לאימון ישיר בלי התאמות.
אותה משפחה
TencentGR יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, רישיון cc-by-4.0 מאפשר שימוש מסחרי חופשי. התנאי היחיד הוא מתן קרדיט מתאים ליוצרים המקוריים.
כמה שטח אחסון צריך בשביל להוריד את הכל?
המאגר המלא שוקל קרוב ל־400 גיגהבייט, כאשר רוב הנפח מגיע מקבצי השיכונים המולטימודליים של 3584 ממדים. אם צריכים רק את רצפי ההתנהגות והמאפיינים, אפשר להסתפק בהורדה של כ־11 גיגהבייט בלבד.
האם יש במאגר טקסטים או תמיכה בעברית?
אין במאגר טקסט גלוי באף שפה. כל שדות המידע מוצפנים למספרים ונתוני המדיה מיוצגים כוקטורים בלבד, כך שאין משמעות לשפה טבעית.
מה ההבדל המרכזי בין מאגר זה לגרסת ה־1M?
המאגר הנוכחי מכיל 10 מיליון רצפים לעומת מיליון אחד בגרסה הקודמת. בנוסף, כל אינטראקציה מסומנת במפורש לפי חשיפה, הקלקה או המרה, בניגוד לנתונים ללא חלוקה זו.
איך טוענים
טוענים תצורות ספציפיות בעזרת ספריית datasets לפי שמות הקבצים, כמו seq עבור רצפי הפעולות או item_feat למאפייני הפריטים. כל הקבצים שמורים בפורמט Parquet דחוס ב־Snappy, למעט קובץ מיפוי בשם indexer.pkl ששוקל כחצי גיגהבייט ומתרגם בין מזהים מקוריים למזהים ממופים. מדובר במאגר כבד מאוד שחלקיו המולטימודליים מגיעים יחד למאות גיגהבייט, לכן חובה להוריד רק את הקונפיגורציות הדרושות ולא למשוך את כל המאגר בבת אחת.
from datasets import load_dataset
ds = load_dataset("TAAC2025/TencentGR-10M")הרישיון
הרישיון הוא cc-by-4.0, שמתיר שימוש מחקרי ומסחרי, כולל שינוי והפצה, כל עוד מעניקים קרדיט מתאים ליוצרים ומציינים שינויים שנעשו. מודל שתאמנו על הנתונים אינו מחויב ברישיון פתוח, אך נדרש לעמוד בכללי הייחוס.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס