chinese_clean_passages_80m
קוד פתוחbeyondרישיון לא דווח2022-11-02
מאגר טקסט סיני מסונן שמכיל מעל שמונים מיליון פסקאות קצרות ונקיות לחלוטין. הוא מתאים למי שרוצה לאמן מודלי שפה בסינית בלי לכלוך של מספרים, אותיות לטיניות או תווים מיוחדים.
- 835הורדות בחודש
- 30לייקים
מה זה
המאגר כולל 88,328,203 פסקאות טקסט בסינית שנאספו במקור מתוך קורפוס האימון המקדים של CLUE, שמבוסס על פרויקט NLP Chinese Corpus מ־2019. היוצרים לקחו את הטקסט הגולמי הזה והפעילו עליו סינון מחמיר במיוחד לקראת אימון מודל בשם GENIUS.
כל רשומה היא פסקה קצרה שאורכה נע ברובו בין 50 ל־200 סימניות סיניות. הסינון הוציא החוצה כל אות לטינית, כל ספרה וכל טוקן מיוחד, כך שנשארו רק סימניות סיניות בלבד. הנתונים שמורים כולם כחלק יחיד של נתוני אימון, בלי חלוקה מראש לקבוצות בדיקה או ולידציה.
מתאים ל
- אימון מקדים למודלי שפה
אימון מודל שפה מבוסס סימניות סיניות נקיות, כמו שנעשה במודל GENIUS שעבורו נבנה המאגר.
- טיוב והרחבת טקסט בסינית
יצירת דוגמאות אימון עבור משימות של מילוי פערי טקסט או שחזור פסקאות לפי שלד מילים.
- ניתוח בלשני וסטטיסטי
מחקר על שכיחות של סימניות ודפוסי משפטים בסינית תקנית, ללא רעש של תווים זרים ומספרים.
איפה זה נופל
הסינון הקיצוני יוצר ניתוק מוחלט מהמציאות של טקסט מודרני. בחיים האמיתיים סינית כוללת תאריכים, מחירים, שמות באנגלית וספרות, וכאן אין אף אחד מהם. בנוסף, אין במאגר אף מילה בעברית או בכל שפה אחרת מלבד סינית, והטקסט מבוסס על מקור משנת 2019, כך שכל אירוע או מונח חדש יותר פשוט לא קיים בו.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון לא דווח בעמוד של beyond. במצב כזה אין אישור מפורש לשימוש מסחרי, וכל שילוב שלו במוצר עסקי כרוך בסיכון משפטי.
כמה מקום צריך לפנות בדיסק לפני ההורדה?
ההורדה תופסת כ־12 גיגה בייט ומגיעה בשלושים ושמונה קבצי parquet נפרדים. כדאי להחזיק קצת יותר שטח פנוי כדי לפרוק ולעבד את הנתונים בנוחות.
האם יש במאגר טקסטים בעברית או באנגלית?
אין בו שום שפה אחרת חוץ מסינית. למעשה, היוצרים סיננו החוצה בכוונה כל אות באנגלית וכל תו שאינו סימנית סינית.
מאיפה הנתונים האלה הגיעו במקור?
הטקסט עבר סינון מתוך קורפוס האימון הסיני של פרויקט CLUE, שמבוסס על עבודה שפורסמה ב־2019. המפרסמים עיבדו את החומר הזה במיוחד לצורך אימון מודל GENIUS שלהם.
איך טוענים
טוענים את המאגר ישירות דרך ספריית datasets באמצעות פקודת load_dataset עם המזהה beyond/chinese_clean_passages_80m. הוא מחולק לשלושים ושמונה קבצי parquet, כל אחד בנפח של כ־340 מגה בייט, ובסך הכל שוקל המאגר סביב 12 גיגה בייט. אין צורך באישור גישה או ברישום מקדים כדי להתחיל בהורדה.
from datasets import load_dataset
ds = load_dataset("beyond/chinese_clean_passages_80m")הרישיון
ליוצרים אין רישיון מדווח בעמוד המאגר. מבחינה משפטית זה משאיר אתכם באי-ודאות גמורה. אי אפשר לדעת אם מותר להשתמש בזה למטרות מסחריות, מה תנאי הייחוס, או האם אימון מודל על הנתונים הללו חושף אתכם להפרת זכויות יוצרים, במיוחד כאשר מדובר במוצר שנמכר ללקוחות.