naijaweb
קוד פתוחsaheedniyimit2024-10-03
מאגר טקסטים ייעודי להקשר תרבותי ולשוני ניגרי, הכולל מעל 270 אלף מסמכים מקוונים. הוא נאסף מרשת האינטרנט הפופולרית בניגריה ומתאים למי שמאמן מודלים על אנגלית מקומית ושפות אזוריות.
- 93הורדות בחודש
- 39לייקים
מה זה
המאגר מכיל 270,137 רשומות טקסט המסתכמות בכ־230 מיליון טוקנים לפי קידוד GPT-2. המקור המרכזי הוא אתר הפורומים Nairaland, שממנו נאספו כ־30 מיליון פוסטים מתוך 19 מדורים שונים, לצד תוכן שחולץ מכמעט 1.3 מיליון קישורים חיצוניים באמצעות ספריית Trafilatura.
הסינון והניקוי בוצעו בעזרת ספריית Datatrove, בתהליך שכלל הסרת כפילויות, סינון קישורים, ניקוי מידע מזהה אישי וסינון איכות וחזרתיות. כל רשומה כוללת את גוף הטקסט, קישור מקורי, ספירת טוקנים, המדור שממנו הטקסט נלקח, שפה מזוהה עם רמת ביטחון, וציון איכות חינוכית שנקבע על ידי המסווג של פרויקט FineWeb-Edu. כל הדאטה מרוכז בחלוקת אימון יחידה ללא חלוקה מובנית למבחן.
מתאים ל
- אימון שפה להקשר ניגרי
התאמת מודלי שפה לסלנג מקומי, אנגלית ניגרית ושפות אזוריות כמו יורובה ואיגבו.
- סינון לפי איכות תוכן
שימוש בדירוג int_score כדי לאמן מודלים רק על טקסטים בעלי ערך לימודי ואיכותי.
- סיווג נושאי מבוסס פורומים
בניית מסווגים לחלוקה לקטגוריות על בסיס 19 המדורים המקוריים באתר, מפוליטיקה ועד בריאות.
איפה זה נופל
הטקסטים מגיעים מפורום פתוח ומדפי רשת חיצוניים, ולכן נושאים את ההטיות הטבעיות של המשתמשים באתר Nairaland. יוצר המאגר מציין במפורש הטיות בשפה, באידיאולוגיה ובייצוג נושאים שונים. לא הייתי משתמש בזה בלי סינון קפדני למערכות שמייצרות מידע רפואי או משפטי רגיש.
מבחינת שפות, המאגר מתמקד באנגלית לצד יורובה, האוסה ואיגבו. עברית לא קיימת כאן בכלל. בנוסף, אין במאגר חלוקת ולידציה או בדיקה, כך שתצטרכו להפריד נתונים להערכה בעצמכם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
כן. הדאטהסט שוחרר תחת רישיון MIT, שמאפשר שימוש מסחרי מלא. התנאי היחיד הוא לכלול את הצהרת זכויות היוצרים והרישיון המקורי בקבצים הרלוונטיים.
האם יש במאגר טקסטים בעברית?
לא. המאגר כולל טקסטים באנגלית ובשלוש שפות ניגריות מקומיות: יורובה, האוסה ואיגבו. אם אתם מחפשים מקורות לאימון עברית, הדאטהסט הזה לא מתאים.
כמה מקום צריך בשביל להוריד את הדאטה?
המאגר שוקל 620 מגה-בייט בסך הכל. הוא מחולק לשלושה קובצי Parquet, כך שאפשר להוריד ולעבד אותו במהירות גם על מחשב נייד פשוט ללא צורך בתשתית אחסון כבדה.
איך נאספו הנתונים ומה מקורם?
התוכן נאסף מאתר הפורומים הניגרי Nairaland ומקישורים חיצוניים שיצאו מתוך הפוסטים. החילוץ נעשה באמצעות Trafilatura, ועבר ניקוי של כפילויות ומידע אישי בעזרת כלי Datatrove.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות הקריאה load_dataset לקוד המאגר saheedniyi/naijaweb. אין צורך לבקש אישור גישה מוקדם או להמתין למפתח.
המשקל הכולל של סט האימון הוא כ־620 מגה-בייט, והוא מחולק לשלושה קובצי Parquet שקל להוריד ולעבד מקומית. בעבודה עם הנתונים שווה לשים לב לשדות int_score שמסייע לסנן טקסטים איכותיים, ולשדות השפה language_probability שמאפשרים לבודד תכנים לפי שפה ורמת ודאות.
from datasets import load_dataset
ds = load_dataset("saheedniyi/naijaweb")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש מסחרי, שינוי, הפצה ושילוב במודלים ללא דרישה לשתף את התוצרים באותו רישיון, ומחייב רק שמירה על הודעת זכויות היוצרים והרישיון המקורי. המשמעות היא שאתם רשאים לאמן עליו מודלים סגורים או מסחריים בלי לחשוף את הקוד שלכם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש