zh-tw-wikipedia
קוד פתוחzetavgרישיון לא דווח2023-05-06
המאגר כולל 2,533,212 ערכים מוויקיפדיה בסינית מסורתית של טייוואן. הוא חוסך את הצורך בסינון ידני של ערבוב בין סינית מפושטת למסורתית, ומגיע בפורמטים מוכנים של HTML ומרקדאון.
- 401הורדות בחודש
- 30לייקים
מה זה
המאגר מרכז 2,533,212 שורות, כאשר כל שורה מייצגת ערך מלא מוויקיפדיה הסינית בגרסתה הטייוואנית. הנתונים נאספו בין 1 במאי לבין 7 במאי 2023 באמצעות ה־API הרשמי של ויקיפדיה, במטרה לשמור על אחידות טקסטואלית מלאה של סינית מסורתית ולמנוע ערבוב עם סינית מפושטת.
כל רשומה כוללת את מזהה הדף, תוכן ה־HTML המקורי, גרסת מרקדאון שעברה ריווח אוטומטי בין תווים רחבים לצרים באמצעות pangu.py, נקודות ציון גיאוגרפיות כשישנן, אורך הערך, זמני עריכה, ומזהה הגרסה. שדה הכותרת המקורית מופיע כפי שנשאב, ולעיתים הוא נשאר בסינית מפושטת למרות שתוכן הערך עצמו מומר במלואו.
מתאים ל
- אימון מודלי שפה בסינית
לימוד מקדים או כוונון עדין של מודלי שפה בסינית מסורתית נקייה מניבים מפושטים.
- חילוץ ישויות גיאוגרפיות
הצלבת טקסטים מול קואורדינטות קיימות לזיהוי ישויות מקומיות לפי שדות המיקום המובנים.
- מערכות אחזור מידע
בניית מאגר ידע ואינדקס מבוסס מרקדאון למענה על שאלות בסינית טייוואנית.
איפה זה נופל
השאיבה דרך ה־API חתכה החוצה כל מה שלא נכנס לפורמט טקסט מוגבל, ולכן המאגר נקי לחלוטין מתמונות, תרשימים, טבלאות, רשימות מקורות וחלק מקטעי הקוד. בנוסף, חסר כאן שדה הכותרת המתורגם לשפה המקומית בגלל השמטה בקוד האיסוף המקורי, וקומץ ערכים ארוכים במיוחד, למשל רשימות דמויות ממשחקים מסוימים או מספרים ספציפיים, הושמט לגמרי. עברית כמובן אין כאן, והטקסט משקף את מצב ויקיפדיה במאי 2023 בלבד.
שאלות
נפוצות
האם המאגר כולל עברית?
לא. המאגר מוקדש כולו לוויקיפדיה בסינית מסורתית של טייוואן, וכל הטקסטים שבו כתובים בשפה זו בלבד.
האם מותר להשתמש בנתונים למוצר מסחרי?
לא דווח רישיון עבור המאגר. מאחר שמדובר בחומר שנשאב מוויקיפדיה ללא תנאי שימוש מוגדרים מצד המפרסם, אי אפשר להסתמך עליו במוצר מסחרי ללא בדיקה משפטית.
איך נאספו הנתונים ומתי?
המידע נאסף בין 1 במאי לבין 7 במאי 2023 ישירות מה־API של ויקיפדיה הסינית. האיסוף התמקד בתצורת השפה הטייוואנית כדי להבטיח טקסט מסורתי אחיד ללא עירוב של גרסאות מפושטות.
מה חסר בתוכן לעומת ויקיפדיה הרגילה?
אין במאגר תמונות, טבלאות, הערות שוליים או רשימות ביבליוגרפיה, וגם חלק מבלוקי הקוד נחתכו. בנוסף, חסרה הכותרת הטייוואנית של הדפים עקב באג באיסוף, ומספר ערכים ארוכים במיוחד לא נכנסו כלל.
איך טוענים
הנתונים מפוצלים לקובצי Parquet תחת תיקיית data, החל מ־train-00000-of-00044 ועד לקובץ מספר 44, כך שאין צורך באישור גישה מיוחד כדי להוריד אותם דרך Hugging Face. למי שרוצה לבדוק את המבנה לפני שמושכים את כל החבילה, קיימת גרסת פיתוח קטנה בשם zetavg/zh-tw-wikipedia-dev שמכילה 1,000 פריטים אקראיים בלבד.
from datasets import load_dataset
ds = load_dataset("zetavg/zh-tw-wikipedia")הרישיון
היוצר לא הגדיר רישיון עבור המאגר הזה בעמוד שלו. בפועל, החומר מבוסס על תוכני ויקיפדיה שנלקחו ישירות מהאתר, מה שיוצר סיכון משפטי ברור לגבי שימוש מסחרי או זכויות יוצרים, במיוחד כשרוצים לאמן מודלים שיופצו הלאה. כל עוד אין הצהרת רישיון מפורשת, אי אפשר לדעת מה מותר לעשות עם הנתונים האלה.