medium-articles
קוד פתוחfabiochiumit2022-07-16
מאגר מאמרים שנאספו מסריקת האתר Medium, הכולל את גוף הטקסט, כותרות, תגיות ומחברים. הוא נותן בסיס נוח למי שרוצה לאמן מודלים של סיווג נושאים או יצירת כותרות באנגלית.
- 445הורדות בחודש
- 27לייקים
מה זה
המאגר מרכז מאמרים שפורסמו באתר Medium, כאשר כל שורה מייצגת מאמר בודד. המידע שנשמר כולל את כותרת המאמר, הטקסט המלא שלו, כתובת הקישור המקורית, רשימת שמות המחברים, תאריך הפרסום המדויק ורשימת התגיות שהוצמדו אליו באתר.
האיסוף בוצע באמצעות סקריפט פייתון וספריית requests שהתחילו במאמר אקראי, והמשיכו לעמודים הבאים דרך ארכיוני מחברים, ארכיוני פרסומים ודפי תגיות. חילוץ התוכן והטקסט מתוך דפי הרשת נעשה באמצעות ספריית newspaper. לאחר מכן, הנתונים סוננו באמצעות ספריית langdetect כדי להשאיר אך ורק מאמרים שזוהו ככתובים בשפה האנגלית.
המאגר עצמו כולל קובץ נתונים מלא בפורמט CSV, גרסה ללא תוכן הטקסט, וקובץ שיכובי מילים בפורמט pickle שמאפשר גישה ישירה לוקטורים בלי צורך לחשב אותם מחדש.
מתאים ל
- סיווג תגיות מרובה תוויות
אימון מודל חיזוי תגיות מתאימות לטקסט מתוך רשימת התגיות של המאמרים.
- יצירת כותרות למאמרים
בניית מודל שפה שמקבל את תוכן המאמר ומייצר עבורו כותרת מתאימה.
- אימון עדין של מודלי שפה
התאמת מודל שפה לתחום תוכן ספציפי על ידי סינון המאמרים לפי תגיות.
איפה זה נופל
ההטיה הבולטת ביותר נובעת משיטת האיסוף. התפלגות תאריכי הפרסום אינה אחידה כלל. ישנם מאמרים מטווח השנים שבין 2016 ל־2022, אך קיימת נוכחות חזקה במיוחד של תכנים שפורסמו בשנת 2020. בנוסף, המאגר מוגבל אך ורק למאמרים באנגלית לפי זיהוי אוטומטי, ולכן אין בו שום ייצוג לעברית. לפני שמכניסים אותו למודל, צריך לקחת בחשבון שמדובר בטקסטים מאתר אחד בלבד, שנאספו בשיטת זחילה מבוססת קישורים ולא בדגימה מקרית טהורה.
שאלות
נפוצות
האם יש במאגר תוכן בעברית?
לא. תהליך איסוף הנתונים כלל שלב סינון מכוון בעזרת ספריית langdetect, שהשאיר אך ורק מאמרים שזוהו כשייכים לשפה האנגלית.
האם מותר להשתמש במאגר למוצרים מסחריים?
הרישיון שמוגדר למאגר הוא MIT, והוא מתיר שימוש מסחרי ללא דרישה להפצת הנגזרות באותו רישיון. נדרש רק להשאיר את הצהרת הרישיון והייחוס המקורית של המלקט.
איך נאספו המאמרים?
האיסוף בוצע על ידי סקריפט פייתון שהתחיל ממאמר אקראי באתר Medium. משם הוא עבר בין ארכיוני מחברים, פרסומים ותגיות, וחילץ את הטקסטים בעזרת newspaper.
האם הנתונים מייצגים תאריכים בצורה שווה?
לא, קיימת הטיה משמעותית בתאריכי הפרסום. יש בו אמנם מאמרים מ־2016 עד 2022, אך רוב מובהק של התוכן מגיע משנת 2020 עקב אופן הקישור בין הדפים שנאספו.
איך טוענים
אין צורך ברישום מיוחד או בבקשת אישור גישה, הקבצים פתוחים להורדה ישירה דרך האתר. המאגר מגיע כקובץ medium_articles.csv, לצד גרסה קלה יותר ללא גוף הטקסט וקובץ pickle עם שיכובים. השדות המרכזיים לעבודה הם text עבור התוכן, title לכותרת, ו־tags שמכיל רשימת תגיות לכל רשומה. כדאי לשים לב ששדות כמו מחברים ותגיות שמורים כרשימות ודורשים פענוח מתאים בעת הטעינה בפייתון.
from datasets import load_dataset
ds = load_dataset("fabiochiu/medium-articles")הרישיון
המאגר מפורסם תחת רישיון MIT. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה כמעט ללא הגבלה, בתנאי ששומרים על הודעת זכויות היוצרים המקורית. מודל שאומן על הנתונים אינו מחויב בשיתוף באותו רישיון. עם זאת, יש לקחת בחשבון שהטקסטים עצמם נאספו מסריקה של כותבים שונים באתר, והרישיון שהוצמד למאגר נוגע לליקוט עצמו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש