blog_authorship_corpus
קוד פתוחbarilanunknown2022-03-02
מאגר שמכיל מאות אלפי פוסטים מבלוגים באנגלית עם תיוג לגיל, מגדר ומקצוע הכותבים. הוא שימושי למי שחוקר סגנון כתיבה ורוצה לבדוק התאמה בין טקסט למאפיינים דמוגרפיים.
- 1,633הורדות בחודש
- 18לייקים
מה זה
הנתונים מבוססים על פוסטים של 19,320 בלוגרים שנאספו מאתר blogger.com באוגוסט 2004. בסך הכל המאגר כולל 681,288 פוסטים עם יותר מ־140 מיליון מילים, ממוצע של כ־35 פוסטים וכ־7,250 מילים לכל כותב. כל בלוגר נבחר רק אם הטקסט שלו הכיל לפחות 200 מופעים של מילים נפוצות באנגלית, וכל עיצוב הטקסט הוסר מלבד סימון קישורים במחרוזת urllink ותאריכי הפוסטים.
הבלוגרים מחולקים לשלוש קבוצות גיל: בני נוער בגילאי 13 עד 17, צעירים בגילאי 23 עד 27, ובוגרים בגילאי 33 עד 47. בכל קבוצת גיל יש חלוקה שווה לחלוטין בין גברים לנשים. בחלוקת הנתונים בגרסת Hugging Face יש 532,812 רשומות בחלק האימון ועוד 31,277 רשומות בחלק הוולידציה. כל רשומה כוללת את הטקסט עצמו, תאריך הפרסום, גיל, מגדר, מזל אסטרולוגי ותחום עיסוק, אם כי שני השדות האחרונים מסומנים בחלק מהמקרים כלא ידועים.
מתאים ל
- סיווג מגדר לפי טקסט
אימון ובדיקה של מודלים שמנסים לזהות את מגדר הכותב על בסיס סגנון כתיבה ואוצר מילים באנגלית.
- חיזוי קבוצות גיל
בניית מסווגים להערכת טווח הגיל של כותב הפוסט מתוך שלוש קבוצות הגיל המוגדרות במאגר.
- ניתוח סגנונומטרי
מחקר בלשני ומדעי על האופן שבו מאפיינים דמוגרפיים שונים משפיעים על שפה ומבנה משפטים ברשת.
איפה זה נופל
כל הטקסטים נאספו בשנת 2004 ונכתבו אך ורק באנגלית, כך שהסלנג, נושאי השיחה ואופי הכתיבה משקפים תקופה ישנה מאוד באינטרנט. המאגר מוגבל לשלוש קבוצות גיל ספציפיות ומשמיט לגמרי טווחים כמו גילאי 18 עד 22 או אנשים מעל גיל 47. בנוסף, כל המידע על הגיל, המגדר והעיסוק הוזן בעבר על ידי המשתמשים עצמם ללא כל אימות חיצוני, ולכן אי אפשר להסתמך עליו כנתון אמת מוחלט במוצר אמיתי.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא, הכרטיס מציין במפורש שהנתונים מיועדים למחקר ללא כוונות רווח בלבד. שימוש בנתונים או במודל שאומן עליהם במסגרת חברה מסחרית מהווה הפרה של תנאי השימוש שהגדירו יוצרי המאגר.
האם יש במאגר טקסטים בעברית?
אין במאגר עברית בכלל. כל הפוסטים נאספו באנגלית, ואחד מתנאי הסינון המקוריים היה נוכחות של לפחות 200 מילים נפוצות באנגלית בכל בלוג.
כמה מקום בדיסק צריך כדי לעבוד איתו?
קובץ ההורדה שוקל כ־313 מגה בייט בלבד. אחרי פריסה ויצירת המבנה המקומי, המאגר תופס סך הכל כ־961 מגה בייט בדיסק.
איך נאספו התיוגים של הכותבים?
התיוגים מבוססים על מה שהבלוגרים דיווחו על עצמם בפרופיל האישי שלהם ב־blogger.com בעת ההרשמה. אף אחד לא אימת את הגיל או המגדר בפועל, ולכן חלק מהנתונים כמו תחום עיסוק ומזל אסטרולוגי חסרים או לא מדויקים.
איך טוענים
טוענים את המאגר ישירות דרך הספרייה הרגילה בעזרת המזהה barilan/blog_authorship_corpus ואין צורך לבקש אישור גישה מראש. קובץ הנתונים הדחוס שוקל כ־313 מגה בייט, ובפריסה מלאה על הדיסק המאגר תופס קצת פחות מגיגה בייט, כ־961 מגה בייט. השדות המרכזיים לעבודה הם text עבור תוכן הפוסט, ו־age ו־gender שמשמשים כמטרות הסיווג העיקריות.
from datasets import load_dataset
ds = load_dataset("barilan/blog_authorship_corpus")הרישיון
הרישיון המוגדר במטא-דאטה מופיע כלא ידוע, אך בתיאור הטקסטואלי נכתב במפורש שהמאגר מיועד לשימוש מחקרי לא מסחרי בלבד. אסור להשתמש בנתונים האלה כדי לאמן מודלים למוצרים מסחריים או להפיק מהם רווח. מודל שאומן על המאגר הזה מוגבל גם הוא למחקר בלבד, ואי אפשר לשלב אותו במערכות ייצור עסקיות.