wikipedia-zh-cn
קוד פתוחfjcanyueרישיון לא דווח2024-08-27
תצלומי מצב מלאים של ויקיפדיה בסינית בפורמט שורות נוח לעיבוד. מתאים למי שבונה מודלי שפה או מאגרי ידע ומחפש טקסט נקי בלי לפרסר קובצי דאמפ גולמיים של ויקימדיה.
- 2,125הורדות בחודש
- 29לייקים
מה זה
המאגר מאגד גרסאות מלאות של ויקיפדיה בסינית שנלקחו ישירות מקובצי הדאמפ הרשמיים של ויקימדיה. הנתונים מאורגנים לפי תאריכי גיבוי שונים, החל מספטמבר 2024 ועד מאי 2026, כך שאפשר לעקוב אחרי שינויים בערכים לאורך ציר הזמן או פשוט לבחור תמונת מצב ספציפית.
המבנה של כל רשומה ישיר ופשוט מאוד. כל שורה מייצגת ערך אנציקלופדי יחיד ומכילה מזהה ייחודי, את כותרת הערך, מערך של תגיות וקטגוריות, ואת הטקסט המלא של הערך עצמו כטקסט נקי. אין כאן מטה-דאטה מורכב, קישורים פנימיים שמורים או תמונות, אלא תוכן טקסטואלי נקי בלבד.
הכרטיס לא מדווח על תהליכי סינון מיוחדים, ניקוי רעשים נוסף או הסרה של ערכים קצרים, מעבר לעיבוד הטקסט הבסיסי מתוך המקור של ויקימדיה. סך הרשומות הכללי נע בטווח שבין מאה מיליון למיליארד, כאשר כל קובץ גיבוי מכיל את כלל הערכים שהיו קיימים בנקודת הזמן שבה נוצר.
מתאים ל
- אימון מודלי שפה בסינית
אימון מקדים או כוונון עדין של מודלי שפה על טקסט אנציקלופדי נקי בסינית.
- בניית גרף ידע ו־RAG
חילוץ ישויות ואינדוקס מידע אנציקלופדי עבור מערכות שאילתות ואחזור מידע.
- סיווג וחלוקה לקבוצות
אימון מסווגי טקסט וניתוח נושאים בעזרת שדה התגיות והקטגוריות שמצורף לכל ערך.
איפה זה נופל
התוכן כולו בסינית בלבד, בלי שום ייצוג לשפות אחרות או לעברית. בנוסף, מופיעים שם תאריכי קבצים עתידיים עד שנת 2026 שלא תואמים לתאריך הפרסום באוגוסט 2024, מה שמחייב לבדוק ידנית מה באמת נמצא בתוך הקבצים האלה לפני שרצים לאמן עליהם.
הכרטיס לא מציין שום סינון של הטיות, תכנים בעייתיים או ערכים מוטים פוליטית, שהם עניין נפוץ בוויקיפדיה בסינית. אם אתם מכניסים את זה למוצר שמייצר טקסט, תצטרכו לבנות פילטרים משלכם.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
הטקסט של ויקיפדיה מתיר שימוש מסחרי עקרונית תחת CC BY-SA 4.0, אבל דורש מתן קרדיט והפצת תוצרים נגזרים תחת אותו רישיון פתוח. אם המודל שלכם נחשב יצירה נגזרת, תצטרכו לשחרר אותו בחופשיות, מה שבדרך כלל חוסם חברות מסחריות שרוצות קוד ומשקלים סגורים.
כמה המאגר שוקל וכמה מקום צריך?
המאגר כולל שישה קובצי JSON עיקריים שכל אחד מהם שוקל בין 2.12 ל־2.39 גיגה-בייט. אם אתם מורידים רק גרסה אחת, תצטרכו כ־2.4 גיגה-בייט פנויים בדיסק, וכדאי לעבוד בהזרמה אם הזיכרון במחשב מוגבל.
האם יש במאגר טקסט בעברית?
לא. המאגר מכיל רק את ויקיפדיה בסינית, והטקסט כולו בשפה זו בלבד.
איך המידע נאסף והאם הוא עבר סינון?
היוצר הוריד את קובצי הגיבוי הגולמיים של ויקיפדיה בסינית מאתר ויקימדיה והמיר אותם לפורמט JSON Lines. לא מדווח על תהליך סינון של ערכים, כך שהטקסט כולל את כל מה שהיה קיים באתר באותו תאריך ללא בקרת איכות נוספת.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות ציון שם המאגר והקובץ הספציפי שתרצו, כמו הקובץ מאי 2026. הקבצים שמורים בפורמט JSON Lines, כך שאין צורך לפרוס ארכיונים דחוסים.
אין כאן דרישה לאישור גישה, המאגר פתוח להורדה מיידית. שימו לב שכל קובץ גיבוי שוקל בין 2.12 ל־2.39 גיגה-בייט. בגלל הגודל הזה, אם אין לכם מספיק זיכרון עבודה פנוי בשרת, כדאי לטעון אותו בהזרמה ולא בבת אחת לזיכרון. השדות העיקריים שתעבדו איתם הם title, tags וטקסט הערך המלא בשדה text.
from datasets import load_dataset
ds = load_dataset("fjcanyue/wikipedia-zh-cn")הרישיון
בעמוד הדאטהסט לא דווח רישיון רשמי, אבל הטקסט מפנה לרישיונות המקוריים של ויקיפדיה, CC BY-SA 4.0 ו־GFDL 1.3. המשמעות היא שחובה לתת ייחוס ליוצרים, ואם אתם יוצרים יצירה נגזרת עליכם לשתף אותה תחת אותו רישיון בדיוק. אימון מודל מסחרי עלול להכניס אתכם לתסבוכת משפטית בגלל תנאי השיתוף הזהה, ולכן מומלץ לקבל ייעוץ משפטי לפני שמשלבים אותו במוצר מסחרי סגור.