Pornhub
קוד פתוחNikityodc-by2024-08-26
מאגר נתונים טקסטואלי שמכיל מטא-דאטה של מאות אלפי סרטונים למבוגרים. הוא מרכז כותרות, קטגוריות ונתוני צפייה שיכולים לעזור בבניית מסנני תוכן או ניתוח התנהגות משתמשים.
- 265הורדות בחודש
- 48לייקים
מה זה
המאגר מבוסס על סריקה מאתר pornhub.com ומכיל בדיוק 742,133 רשומות טקסט של סרטונים. אין פה קובצי וידאו בפועל, אלא רק נתוני מעטפת שמתארים אותם.
המבנה פשוט מאוד וכולל קובץ CSV יחיד בשם data.csv. בכל שורה תמצאו שישה שדות: קישור לסרטון, קטגוריה, שם המשתמש שהעלה אותו, כותרת הסרטון, מספר הצפיות והדירוג שהוא קיבל באתר. הכרטיס לא מציין שום תהליך סינון מקדים, כך שכנראה מדובר בייצוא גולמי של דפי האתר כפי שנצפו בזמן האיסוף.
למרות שבמטא-דאטה מוגדרות רק חלק מהשפות, התיעוד מפרט מגוון רחב מאוד של עשרות שפות שמופיעות בכותרות, כולל עברית, ערבית ושפות אירופיות ואסיאתיות רבות. אין חלוקה לחלקי אימון ומבחן מוכנים, כך שכל ארגון או חלוקה תצטרכו לבצע לבד.
מתאים ל
- סינון תוכן למבוגרים
אימון מסווגי טקסט שמזהים כותרות או ביטויים מיניים כדי לחסום תוכן בלתי הולם במערכות.
- חיזוי פופולריות תוכן
ניתוח הקשר בין מילות מפתח בכותרת ובקטגוריה לבין כמות הצפיות והדירוג שהסרטון מקבל.
- ניתוח מגמות ברשת
מחקר סוציולוגי או לשוני על אופן קטלוג תכנים למבוגרים ושכיחות מונחים בשפות שונות.
איפה זה נופל
הכרטיס לא מציין מתי בדיוק נאספו הנתונים, מה שמקשה לדעת אם הקישורים עדיין פעילים או שהתוכן נמחק מהרשת. מעבר לזה, אין שום פירוט על מתודולוגיית הגירוד, כך שלא ברור אם יש הטיה חזקה לקטגוריות מסוימות, לסרטונים פופולריים במיוחד או לתקופת זמן ספציפית.
אין כאן תמלול של האודיו, זיהוי פנים או נתונים חזותיים, אלא רק מטא-דאטה טקסטואלי ומספרי. בנוסף, מדובר בתוכן למבוגרים שעלול לכלול שפה פוגענית או בוטה מאוד, כך שאי אפשר להשתמש בזה למערכות כלליות בלי סינון קפדני.
שאלות
נפוצות
האם המאגר כולל קובצי וידאו לצפייה?
לא, המאגר כולל אך ורק נתוני טקסט ומספרים בקובץ CSV. יש בו קישורים לדפי הסרטונים באתר, כותרות, קטגוריות, משתמשים, צפיות ודירוגים, ללא קובצי מדיה כלל.
האם יש בו תמיכה בעברית?
לפי כרטיס הדאטהסט עברית היא אחת מעשרות השפות שמופיעות בכותרות הסרטונים. עם זאת, היקף הרשומות בעברית מתוך 742,133 השורות אינו מפורט ודורש בדיקה ידנית בקובץ.
איך פותחים את הקובץ בלי שגיאות?
חייבים להגדיר את התו המפריד ‽ בעת טעינת קובץ ה־CSV. שימוש בטעינה רגילה שמצפה לפסיקים יגרום לשגיאות פענוח בגלל המבנה הייחודי של הקובץ.
האם מותר להשתמש בזה למוצר מסחרי?
הרישיון הרשמי הוא odc-by שמאפשר שימוש מסחרי בכפוף למתן קרדיט, אך היוצר כתב בתיאור שהמאגר מיועד למחקר וחינוך בלבד. הסתירה הזו, לצד אופי התוכן, מחייבת זהירות משפטית לפני שילוב במוצר מסחרי.
איך טוענים
הקובץ המרכזי שמכיל את המידע הוא data.csv, שיושב במאגר לצד קובץ התיעוד וקובץ נוסף. הגישה למאגר פתוחה לחלוטין ואין צורך לבקש אישור מוקדם כדי להוריד אותו.
הנקודה הקריטית ביותר בטעינה היא התו המפריד. הקובץ לא משתמש בפסיק סטנדרטי אלא בתו interrobang, שנראה ככה ‽. אם תנסו לטעון אותו בברירת המחדל של ספריות כמו פנדס בלי להגדיר את המפריד הזה ידנית, הקריאה תיכשל מיד. השדות המרכזיים לעבודה יהיו לרוב שדה הכותרת Video_title ושדה הקטגוריה Category.
from datasets import load_dataset
ds = load_dataset("Nikity/Pornhub")הרישיון
המאגר מפורסם תחת רישיון odc-by. הרישיון הזה מתיר שימוש, הפצה ויצירה של עבודות נגזרות, כולל שימוש מסחרי, בתנאי שניתן קרדיט מתאים ליוצר המאגר. עם זאת, היוצר מציין בכרטיס שהנתונים נועדו למטרות מחקר וחינוך בלבד, ומציע כתובת מייל לבקשות הסרה. אם אתם מאמנים מודל על הנתונים, הרישיון עצמו לא מחייב שיתוף של המודל תחת אותו רישיון, אך יש לוודא שהשימוש שלכם עומד בהגבלות החוקיות לגבי תוכן למבוגרים.