Traditional-Chinese-Common-Crawl-Filtered

מה זה

המאגר הזה מבוסס על שאיבה ועיבוד של סריקות Common Crawl החל מ־2013 ועד מה שהיוצר הגדיר כ־2025. העיבוד הראשוני נשען על קוד שמנסה לשחזר את הדאטהסט C4, ומתוכו נוצר מאגר מעורב שכלל גם סינית מסורתית וגם סינית מפושטת. כדי לבודד את הסינית המסורתית, המפתח הפעיל סינון מבוסס רשימת תווים בסינית מפושטת, וכך חילץ רק את הרשומות שעברו את הסף.

בפועל הנתונים מחולקים למאות קובצי Parquet, לפי מזהי הסריקות השונים של Common Crawl כמו למשל סריקת 2013_20. הטקסטים מייצגים תוכן רשת גולמי שעבר ניקוי לפי מתודולוגיית C4 לצד סינון השפה הייעודי, מה שהופך אותו לרלוונטי עבור אימון מקדים של מודלי שפה או הרחבת אוצר מילים.

מתאים ל

• אימון מקדים בסינית מסורתית

  הרחבת בסיס הטקסט של מודלי שפה עבור משתמשים מטייוואן ומהונג קונג.

• בניית טוקנייזר

  אימון מילון מונחים שממוקד במבנה הסימניות של סינית מסורתית.

• מחקר על דאטה רשתי

  ניתוח מגמות של תוכן אינטרנטי שנאסף מסריקות עבר של Common Crawl.

איפה זה נופל

הבעיה המרכזית כאן גלויה לחלוטין, היוצר ציין במפורש שלא היה לו מספיק תקציב כדי להריץ ניקוי כפילויות מלא בין כל הסריקות השונות. יש כאן כפילויות של תוכן רשת שחוזר על עצמו לאורך השנים, מה שעלול להטות אימון של מודל. בנוסף, מדובר בסינית בלבד, והסינון נשען על רשימת תווים שעלולה לפספס ניואנסים או להכניס רעש של סריקות ישנות מ־2013.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets של Hugging Face או על ידי הורדת קובצי ה־Parquet מתוך המאגר. אין צורך לבקש אישור גישה מיוחד כדי להוריד. מדובר במאגר שמחולק ל־898 קבצים שונים, כך שכדאי להביא בחשבון נפח אחסון משמעותי וזמן הורדה ארוך אם מושכים את כל השנים בבת אחת.

from datasets import load_dataset

ds = load_dataset("jed351/Traditional-Chinese-Common-Crawl-Filtered")

הרישיון

היוצר לא הגדיר רישיון במאגר. במצב כזה אין הרשאה מפורשת לשימוש מסחרי, וכל שילוב שלו במוצר או במודל מסחרי יוצר סיכון משפטי ברור. לצרכי מחקר עצמאי זה פחות בעייתי, אך כל עוד הסטטוס לא הוסדר, לא הייתי בונה עליו מוצר סגור.

הרישיון המלא ב־Hugging Face ↗