VK-LSVD

מה זה

הנתונים מציגים צפיות של 10,000,000 משתמשים בכמעט 20 מיליון סרטונים לאורך שישה חודשים רצופים. כל רשומה כוללת צפייה בודדת בפיד עם נתוני משוב מגוונים, כמו זמן שהייה בשניות עד 255, סימוני לייק, דיסלייק, שיתוף, שמירה, לחיצה על פרופיל היוצר ופתיחת תגובות. בנוסף יש הקשר טכני על הפלטפורמה והמיקום בפיד.

המטא דאטה כולל גיל ומין של משתמשים, מיקומים גיאוגרפיים מקודדים, ואורכי סרטונים. המאגר מציע גם וקטורי תוכן מוכנים של הסרטונים בממדים של עד 64, שחושבו על פי הווידאו, האודיו והטקסט בלבד ללא שילוב אותות התנהגותיים. כל המידע עבר אנונימיזציה מלאה של מזהים מספריים רציפים, כך שאי אפשר לחלץ פרטים מזהים מקוריים.

החלוקה הפנימית מסודרת כרונולוגית לפי שבועות בקובצי parquet כדי למנוע דליפת מידע מהעתיד לעבר באימון. המפרסמים הכינו גם תתי מדגמים חתוכים מראש לפי אחוזי פופולריות או דגימות אקראיות, מה שמקל על בדיקת רעיונות בלי להוריד את כל הנפח.

מתאים ל

• אימון מנועי המלצה לפיד

  חיזוי זמן שהייה, דילוגים והסתברות ללייק ברצף צפיות כרונולוגי של סרטונים קצרים.

• למידה על גרפים

  בניית גרפים של אינטראקציות משתמשים ויוצרים בהיקף רחב מאוד ובחינת מודלי graph-ml.

• מחקר על דחיסת וקטורים

  בדיקת ביצועי מודלים עם וקטורי תוכן בגדלים משתנים בין 1 ל־64 רכיבים.

איפה זה נופל

כל המזהים הקטגוריים כולל המיקומים והסוכנים עברו אנונימיזציה למספרים שלמים ללא מיפוי חוזר, כך שאי אפשר לחקור הקשרים תרבותיים, גיאוגרפיים או לשוניים ספציפיים. השפה הרשומה במאגר היא אנגלית בלבד, אך מקור הנתונים אינו מפורט מעבר לכך. אין כאן טקסטים גולמיים של תגובות או כותרות וגם לא קובצי וידאו, אלא רק וקטורים מספריים מוכנים. מודל שתאמנו כאן יתאים רק להמלצות על פידים של וידאו קצר בצריכה אינטנסיבית, ולא למוצרים מבוססי טקסט או קטלוגים ארוכים.

איך טוענים

המאגר מחולק ל־244 קבצים, רובם בפורמט parquet לפי שבועות בתיקיות train, validation ו־test, יחד עם קובץ npz שמחזיק את האמבדינגס של הפריטים. הגישה חופשית לחלוטין וללא צורך באישור מיוחד. אל תנסו למשוך את כולו למחשב אישי, כי עבודה עם 40 מיליארד רשומות דורשת תשתית ביג דאטה ייעודית. שווה להתחיל מאחד מתת המדגמים המוכנים שמציעים יחסי צפיפות שונים, ולהשתמש בשדות כמו timespent ומשוב המשתמשים כדי לבנות את מטרות החיזוי.

from datasets import load_dataset

ds = load_dataset("deepvk/VK-LSVD")

הרישיון

המאגר מופץ תחת רישיון apache-2.0 הפתוח. הרישיון מתיר שימוש מסחרי, מחקרי ושינוי של הנתונים, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי. מותר לאמן עליו מודלים מסחריים בלי חובה לחשוף את קוד המקור או לשתף את המודל תחת אותו רישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗