masakhanews
קוד פתוחmasakhaneafl-3.02023-04-20
מאגר כתבות חדשות למיון נושאי ב־16 שפות אפריקאיות, לצד אנגלית וצרפתית. הוא מרכז מידע מאתרי חדשות עבור שפות שסובלות ממחסור חמור במשאבי אימון.
- 1,715הורדות בחודש
- 15לייקים
מה זה
המאגר מציע טקסטים של כתבות חדשותיות המחולקים לשבע קטגוריות: עסקים, בידור, בריאות, פוליטיקה, דת, ספורט וטכנולוגיה. כל רשומה כוללת את כותרת הידיעה, גוף הטקסט, שילוב של שניהם, מזהה הנושא וכתובת קישור למקור. הטקסטים נכתבו במקור על ידי עיתונאים וכותבים בגופי תקשורת, ועברו טוקניזציה ברמת המילים.
הנתונים נאספו ותויגו על ידי מתנדבים מקהילת Masakhane במטרה לשרת שפות עם ייצוג נמוך בתחום עיבוד השפה הטבעית. המאגר כולל 16 שפות, בהן אמהרית, האוסה, איגבו, לינגלה, טיגריניה, סומלית, סוואהילי, אורומו, יורובה, אנגלית וצרפתית. בכל שפה קיימת חלוקה מובנית לשלושה חלקים של אימון, ולידציה ובדיקה, כאשר גודל הפיצול משתנה בהתאם לכמות הטקסט שנאספה באותה שפה.
מתאים ל
- סיווג נושאי חדשות
מיון אוטומטי של מאמרי עיתונות לשבע קטגוריות תוכן מוגדרות מראש בשפות אפריקאיות.
- בנצ'מרק למודלים רב-לשוניים
בדיקת ביצועים של מודלי שפה על שפות נטולות משאבים רבים כמו יורובה, האוסה או אמהרית.
- מחקרי העברה בין שפות
בחינת היכולת להעביר ידע מסיווג חדשות באנגלית וצרפתית לשפות מקומיות באפריקה.
איפה זה נופל
הנתונים מגיעים כולם מעולם החדשות, ולכן מודל שילמד עליהם יתקשה להתמודד עם שיחות יומיומיות, טקסט חופשי ברשתות חברתיות או מסמכים משפטיים. הדוחות הטכניים בכרטיס לוקים בחסר, ואין פירוט מדויק לגבי אופן ניקוי הטקסט או הטיות אפשריות של הכתבים והמתייגים. בנוסף, בחלק מהשפות כמו לינגלה או לוגנדה כמות הדוגמאות קטנה מאוד ועומדת על מאות בודדות של רשומות אימון, מה שמקשה על אימון מודלים מאפס.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
עדיף להימנע מכך. למרות שבפרטי המאגר רשום רישיון AFL-3.0 שמאפשר שימוש מסחרי, גוף הכרטיס מציין במפורש רישיון CC 4.0 Non-Commercial. חוסר ההתאמה הזה מייצר סיכון משפטי ברור לכל פעילות מסחרית.
האם יש במאגר טקסטים בעברית?
לא. המאגר מתמקד ב־16 שפות המדוברות באפריקה, לצד אנגלית וצרפתית שמשמשות שם כשפות רשמיות. אין בו נתונים בעברית כלל.
כמה רשומות יש בכל שפה?
ההיקף משתנה בין השפות. אנגלית כוללת את הפיצול הגדול ביותר עם יותר מ־3,300 דוגמאות אימון, בעוד שבשפות כמו לינגלה יש רק כ־608 דוגמאות אימון ופחות ממאה דוגמאות ולידציה.
איך נאסף הטקסט ומי ביצע את התיוג?
הטקסטים נלקחו מכתבות עיתונאיות שנכתבו בידי אנשי מקצוע באתרי חדשות. פעולת התיוג לקטגוריות השונות נוהלה על ידי מתנדבים ומשתפי פעולה מארגון Masakhane.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets על ידי ציון הנתיב masakhane/masakhanews יחד עם קוד השפה המבוקש. אין צורך לבקש אישור גישה מוקדם או להמתין להרשאות, המאגר פתוח להורדה. בקבצים תמצאו פורמט tsv המחולק לפי תיקיות שפה, כאשר השדות השימושיים ביותר לאימון הם שדה הטקסט והתווית המספרית של הקטגוריה.
from datasets import load_dataset
ds = load_dataset("masakhane/masakhanews")הרישיון
המטא-דאטה מציג רישיון מסוג afl-3.0, אך גוף הטקסט בכרטיס קובע במפורש רישיון CC 4.0 Non-Commercial. הסתירה הזו מחייבת זהירות רבה. בפועל, ההגדרה הלא-מסחרית שבתיאור אוסרת על שימוש בנתונים לבניית מוצרים מסחריים או להפקת רווח, ומודל שיאומן עליהם עלול להיות מוגבל לשימושי מחקר והדגמה בלבד.