namuwiki-extracted
קוד פתוחheegyucc-by-nc-sa-2.02022-10-01
המאגר כולל מעל חצי מיליון ערכים מקוריאנית שנלקחו מדאמפ של נאמו ויקי ועברו ניקוי טקסט בסיסי. הוא מתאים למי שבונה מודל שפה וצריך טקסט קוריאני עשיר בסלנג ותרבות רשת.
- 228הורדות בחודש
- 26לייקים
מה זה
הנתונים מבוססים על דאמפ ציבורי של אתר הוויקי הקוריאני הפופולרי namu.wiki מתאריך 1 במרץ 2021 או 2022, כפי שמופיע בשם הקובץ ובתיאור. המפרסם עיבד את המידע הגולמי באמצעות כלי חילוץ בשם namu-wiki-extractor, ובנוסף הסיר כותרות פנימיות וטבלאות מלאות כדי להשאיר בעיקר פסקאות טקסט רציפות.
בסך הכל המאגר מחזיק 571,308 שורות של תוכן. כל רשומה כוללת את כותרת הערך, תוכן הטקסט שחולץ, מרחב השמות באתר ורשימת שמות המשתמשים או כתובות ה־IP של התורמים שערכו את הדף. בנוסף, חושבו גילאים מתוך תבניות לפי התאריך שבו בוצע העיבוד באוקטובר 2022, וביטויי מתמטיקה הושארו כפי שהם בתוך הטקסט.
מתאים ל
- אימון מודל שפה בקוריאנית
טקסט רציף בהיקף גדול שמתאים לאימון מקדים של מודלים בקוריאנית.
- חקר שפת אינטרנט ותרבות
ניתוח מגמות לשוניות, סלנג וביטויים פופולריים מהאינטרנט הדרום קוריאני.
- בניית מודל אחזור מידע
שימוש בכותרות ובטקסטים לאימון מערכות חיפוש סמנטי ודירוג ערכים.
איפה זה נופל
הטקסט כולו בקוריאנית בלבד, בלי שום תוכן בעברית או תרגום מובנה, ומדובר בתוכן שנכתב על ידי גולשים בוויקי פתוח שמתמקד בתרבות פופולרית. המפרסם מציין באג בעיבוד, שבו נוסחאות מתמטיות שנמצאות בתוך הערות שוליים גורמות לכך שהערת השוליים לא נוקתה כמו שצריך ונשארה בטקסט. הטבלאות הוסרו לגמרי ולכן מידע עובדתי ומובנה אבד, וחישובי הגילאים הוקפאו לפי תאריך העיבוד באוקטובר 2022. הדאמפ המקורי ישן, כך שאירועים אקטואליים לא קיימים כאן.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
לא. הרישיון המדווח הוא רישיון לא מסחרי מסוג cc-by-nc-sa-2.0, ולכן השימוש מותר למטרות מחקר או פרויקטים אישיים בלבד.
כמה שטח אחסון צריך להורדה?
נפח ההורדה של קובץ הנתונים הוא 2.19 ג'יגה בייט. הוא מגיע בקובץ parquet יחיד שמכיל 571,308 שורות.
האם יש בדאטהסט טקסט בעברית?
אין כאן עברית כלל. כל הנתונים מגיעים מאתר ויקי קוריאני ומכילים טקסט בשפה הקוריאנית בלבד.
איזה ניקוי בוצע על הטקסט?
הוסרו כותרות פנימיות וטבלאות, וגילאים חושבו אוטומטית לפי תאריך הניקוי. נוסחאות מתמטיות הושארו, ויש בעיה ידועה שנוסחאות בתוך הערות שוליים לא נמחקו כראוי.
איך טוענים
טוענים את המאגר ישירות בספריית datasets עם הפקודה הרגילה, בלי צורך לבקש אישור גישה מראש ובלי להגדיר מפתחות. קובץ הנתונים יושב בפורמט parquet בשם namuwiki_20210301_v3.parquet, ונפח ההורדה שלו עומד על 2.19 ג'יגה בייט. השדות שמעניינים את רוב העבודה הם title עבור הכותרת ו־text עבור גוף הערך, כששדה ה־contributors שימושי בעיקר לצרכי מעקב וקרדיט.
from datasets import load_dataset
ds = load_dataset("heegyu/namuwiki-extracted")הרישיון
הרישיון הוא cc-by-nc-sa-2.0. הרישיון הזה אוסר כל שימוש מסחרי, מחייב לתת קרדיט ליוצרים המקוריים, ודורש להפיץ כל יצירה נגזרת תחת אותו הרישיון בדיוק. אם תאמנו עליו מודל, סביר מאוד שלא תוכלו למכור שירותים סביבו או לסגור את הקוד והמשקולות שלו.