olm/wikipedia
קוד פתוחolmcc-by-sa-3.0,gfdl2022-10-04
המאגר מושך ומנקה ערכי ויקיפדיה ישירות מהדאמפים הרשמיים. הוא נבנה כדי לעבד טקסטים לאימון מודלי שפה במהירות ובמקביל על מעבדים מרובים, בלי התלות הכבדה ב־apache-beam.
- 260הורדות בחודש
- 37לייקים
מה זה
המאגר כולל ערכי ויקיפדיה שלמים שעברו ניקוי להסרת תחביר ויקי, הערות שוליים וקטעים מיותרים כמו רשימות מקורות. המקור לכל המידע הוא הדאמפים הרשמיים של קרן ויקימדיה, כשהחלוקה בפועל מתבצעת לפי שפה ותאריך הדאמפ. כל רשומה מייצגת ערך אנציקלופדי בודד ומכילה ארבעה שדות פשוטים: מזהה, כתובת המקור ברשת, כותרת הערך וגוף הטקסט הנקי.
העיבוד מתבצע בעזרת הכלי mwparserfromhell בשילוב ספריית multiprocess להאצה מקבילית על כל ליבות המעבד הזמינות. המפרסמים מציינים שעיבוד של כל ויקיפדיה באנגלית לוקח פחות משעה על שרת GCP עם 96 ליבות. בכרטיס המקורי חסר פירוט מלא לגבי חוקי הניקוי המדויקים, מידע רגיש או ניתוח מפורט של תהליך האוצרות מעבר להסרת המרקאפ הבסיסית.
מתאים ל
- אימון מקדים למודלי שפה
חילוץ טקסט נקי ומאסיבי בשפות שונות כדי לאמן מודלים על תחביר וידע כללי.
- משימות השלמת מילים
אימון ובדיקה של מודלי fill-mask על ערכים אנציקלופדיים במגוון רחב של שפות.
- הכנת קורפוסים מותאמים
עיבוד מהיר של דאמפים שלמים מוויקיפדיה על שרתים מרובי ליבות לשימוש פנימי.
איפה זה נופל
כרטיס המאגר משאיר את רוב הסעיפים הקריטיים ריקים. אין כאן שום דיון בהטיות מובנות, מגבלות תוכן, ייצוג שפות או טיפול במידע אישי ורגיש שקיים בוויקיפדיה. בנוסף, הקוד מושך דאמפים נקודתיים מתאריכים היסטוריים כמו 2022, כך שהמידע אינו מעודכן להיום ועלול לכלול שגיאות עובדתיות או השחתות שהיו קיימות בעת יצירת הדאמפ. אם אתם בונים מודל שמיועד למוצר, תצטרכו לבצע בדיקות איכות וסינון רעלים בעצמכם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון מאפשר שימוש מסחרי אך כולל סעיף שיתוף זהה נוקשה של CC BY-SA 3.0 ו־GFDL. המשמעות היא ששחרור של יצירה נגזרת עשוי לדרוש פרסום תחת אותו הרישיון בדיוק. מפתחים רבים נמנעים משימוש ברישיון זה למוצרים סגורים מחשש לחשיפת המודל או הקוד.
האם המאגר כולל ערכים בעברית?
רשימת השפות במטא־דאטה של הדף מציגה שפות כמו ערבית, אפריקאנס ואחרות, אך עברית אינה מופיעה בהן ישירות. עם זאת, הסקריפט מיועד למשוך כל דאמפ רשמי של ויקימדיה לפי קוד שפה ותאריך. מומלץ לבדוק ידנית את זמינות הדאמפ הרצוי באתר קרן ויקימדיה לפני ההרצה.
מה ההבדל בין המאגר הזה למאגר ויקיפדיה המקורי של Hugging Face?
המאגר הזה הוא פיצול שנועד לפתור צווארי בקבוק בעיבוד הנתונים. הוא מסיר לחלוטין את התלות בספריית apache-beam ועובר לשימוש ב־multiprocess רגיל. השינוי מאפשר לנצל את כל ליבות המעבד הזמינות במכונה ולעבד את כל ויקיפדיה באנגלית בפחות משעה על שרת חזק.
כמה שוקל הדאטהסט ואיך הוא שמור?
המאגר אינו מכיל את כל הטקסטים מראש אלא סקריפט פייתון שמושך את הדאמפים ישירות משרתי ויקימדיה. נפח ההורדה והאחסון בפועל תלוי לחלוטין בשפה ובתאריך שתבחרו לטעון. דאמפ של שפה גדולה כמו אנגלית דורש עשרות גיגה־בייט פנויים בדיסק וזיכרון עבודה בהתאם.
איך טוענים
טוענים את הנתונים דרך ספריית datasets באמצעות ציון שפה ותאריך הדאמפ הרצוי, למשל אנגלית מתאריך 20220920. לפני שמתחילים חייבים להתקין ידנית את הספריות mwparserfromhell בגרסה 0.6.4 ו־multiprocess בגרסה 0.70.13. אין צורך באישור גישה מיוחד, אבל צריך לקחת בחשבון שהסקריפט מוריד ומעבד את הדאמפ בזמן אמת, מה שדורש זיכרון עבודה, כוח עיבוד משמעותי ונפח אחסון מקומי שתלוי בגודל השפה שבחרתם.
from datasets import load_dataset
ds = load_dataset("olm/wikipedia")הרישיון
התוכן מופץ תחת רישיונות CC BY-SA 3.0 ו־GFDL. שימוש מסחרי מותר עקרונית, אבל יש חובת ייחוס ברורה ודרישת שיתוף זהה. המשמעות המעשית היא שכל יצירה נגזרת חייבת להשתחרר תחת אותו רישיון חופשי, מה שעלול לחייב אתכם לחשוף מודל שאומן על הדאטהסט או לפתוח את הנתונים שעברו עיבוד.