TikTok-10M
קוד פתוחThe-data-companyother2025-07-25
עשרה מיליון רשומות מטיקטוק עם נתוני מעורבות, מוזיקה ומיקומים. מי שצריך לנתח תוכן וידאו קצר ומגמות רשת אמיתיות ימצא כאן היקף נדיר של נתונים מהפלטפורמה עצמה.
- 441הורדות בחודש
- 24לייקים
מה זה
המאגר כולל עשרה מיליון פוסטים שנאספו מטיקטוק ומייצגים תוכן משתמשים אותנטי. הרשומות מגיעות בפורמט טבלאי של קובצי פרקט ומכילות שדות מגוונים על כל סרטון. תמצאו שם מזהים וכתובות קישור, תיאורי טקסט, האשטגים ואתגרי רשת, זמן העלאה, ונתוני מעורבות מלאים שכוללים כמויות צפיות, תגובות ולייקים. יש כאן גם מידע טכני על הווידאו עצמו כמו משך הזמן וציון איכות, וכן פרטי שמע כמו שמות השירים והאלבומים שמלווים את הפוסטים.
נקודה בולטת במבנה הנתונים היא קישור של הסרטונים לנקודות עניין גאוגרפיות, עם שמות מקומות, כתובות וקטגוריות מיקום. כל התוכן חולק לעשרה קובצי משנה עבור סט האימון. המפרסמים לא פירטו תהליך סינון ידני או ניקוי מתקדם, אלא אספו פוסטים ציבוריים שהיו במגמת תפוצה רחבה ברשת בעת הדגימה, ללא פיצול מובנה לולידציה או מבחן.
מתאים ל
- חיזוי ויראליות ומעורבות
אימון מודלים להערכת פוטנציאל תפוצה של פוסטים לפי שילוב של טקסט, מוזיקה, שעת פרסום ומשך הסרטון.
- ניתוח טקסט ומגמות רשת
חקר שפה וסלנג בסרטונים קצרים, חילוץ נושאים חמים וניתוח הקשרים בין תיוגים למיקומים גאוגרפיים בארצות הברית.
- מערכות המלצה לתוכן ומדיה
בניית מנועי התאמה שמחברים בין סגנון מוזיקלי, אורך הווידאו וסוג נקודת העניין להעדפות משתמשים.
איפה זה נופל
יש פה הטיה גאוגרפית מוחלטת, כל הפוסטים מקושרים לנקודות עניין בארצות הברית בלבד, כך שאין כאן ייצוג למקומות אחרים או לעברית. הנתונים משקפים רק תוכן ויראלי מאביב 2025 ולא פעילות שגרתית לאורך זמן. איכות ההפקה משתנה מאוד כי מדובר בסרטוני משתמשים. בנוסף, המאגר מכיל מטא דאטה וקישורים ולא את קובצי הווידאו הגולמיים עצמם, כך שמי שרוצה את הפיקסלים יצטרך להוריד אותם לבד ולקוות שהסרטונים עדיין זמינים ברשת ולא נמחקו על ידי המשתמשים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
עדיף שלא. הרישיון מוגדר תחת הגדרה כללית של other, והכרטיס דורש במפורש לציית לתנאי השימוש של טיקטוק. שימוש מסחרי במידע שנאסף מפלטפורמה כזו חושף אתכם לסיכונים משפטיים.
האם הדאטהסט כולל קובצי וידאו להורדה ישירה?
לא, אין במאגר קובצי וידאו מקומיים אלא קישורים לטיקטוק, מטא דאטה ונתוני איכות ומשך. אם אתם צריכים לאמן מודלים של ראייה ממוחשבת על הפריימים עצמם, תצטרכו להוריד את הסרטונים עצמאית לפי הקישורים, בהנחה שהם עדיין זמינים ברשת.
האם יש במאגר תוכן בעברית?
הכרטיס מצהיר שכל נקודות העניין בתוכן מוגבלות לארצות הברית. רוב מוחלט של הטקסט והתיאורים הוא באנגלית, ואי אפשר לבנות עליו לפרויקטים שדורשים התאמה לשוק המקומי בישראל.
מתי המידע נאסף ואיזה תוכן הוא מייצג?
הנתונים נאספו באביב 2025 ומתמקדים רק בסרטונים שהיו פופולריים ובמגמת עלייה באותה תקופה. המאגר לא משקף התפלגות אקראית של כלל התכנים ברשת, אלא רק את מה שהצליח לתפוס תאוצה בזמן הדגימה.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets הרגילה בפייתון בעזרת הפקודה load_dataset על המזהה של המאגר. אין צורך לבקש אישור גישה מוקדם או להמתין לפתיחת הרשאות, המאגר פתוח. בגלל שמדובר בעשרה מיליון שורות שמחולקות לעשרה קובצי פרקט, מומלץ לעבוד במצב של הזרמה כדי לא לחנוק את הזיכרון. שדות המפתח ששווה לבודד בהתחלה הם הטקסט בתיאור, כתובת הווידאו ומספרי המעורבות כמו כמות הלייקים והצפיות.
from datasets import load_dataset
ds = load_dataset("The-data-company/TikTok-10M")הרישיון
הרישיון מוגדר כ־other, כלומר אין כאן רישיון קוד פתוח סטנדרטי או מוכר. המפרסמים מציינים שצריך לפעול לפי תנאי השימוש של טיקטוק ולפי החוק, וזה אומר ששימוש מסחרי במודל שאומן עליו נמצא באזור אפור ומסוכן מאוד. לשימוש מחקרי המצב פשוט יותר, אבל למוצר אמיתי אי אפשר להסתמך עליו בלי בדיקה משפטית של זכויות המקור.