wudao
קוד פתוחp208p2002רישיון לא דווח2023-09-19
קורפוס ענק בסינית שמיועד לאימון מודלי שפה וטקסט. המאגר אורז מחדש את WuDao המקורי לקבצי פרקט נוחים לעבודה דרך האגינג פייס.
- 2,225הורדות בחודש
- 17לייקים
מה זה
מדובר באריזה מחדש של גרסת 220G של פרויקט WuDao הסיני, שפורסם במקור בסוף 2022 בבנק המידע המדעי Science Data Bank. המעלה הנוכחי מציין במפורש שהוא אינו היוצר המקורי, אלא רק המיר את המידע לפורמט פרקט כדי לאפשר טעינה ישירה בספריית datasets.
התוכן מכיל מעל 59 מיליון רשומות שמחולקות לקטגוריות שונות של טקסט מהרשת הסינית. הנתח המרכזי מגיע ממאגרי אנציקלופדיה עם מעל 27 מיליון רשומות, ומבלוגים עם יותר מ־15 מיליון רשומות. שאר הדאטה מכיל טווח רחב של נושאים ובהם חדשות, בידור, רכב, מדע וטכנולוגיה, חינוך, כלכלה, וגם תכנים ממוקדים מפלטפורמות כמו דואובן ושיאו-חונג-שו.
מתאים ל
- אימון מקדים בסינית
אימון בסיסי של מודלי שפה גדולים על טקסט סיני מגוון בהיקף נרחב.
- הערכת ביצועי שפה
בדיקת יכולות פענוח ודיוק של מודלים מול עשרות מיליוני רשומות אנציקלופדיה ובלוגים.
- סיווג נושאי
מחקר וניתוח טקסט לפי עשרות הקטגוריות המוגדרות מראש בקורפוס.
איפה זה נופל
הטקסט כולו בסינית בלבד, כך שאין כאן שום ייצוג לעברית או לאנגלית. בנוסף, מדובר בהעלאה עצמאית שלא מפרטת את אופן הסינון, הסרת המידע הרגיש או בדיקות האיכות שנעשו על הטקסטים שנאספו. החלוקה הפנימית בין הנושאים מוטה מאוד לכיוון בלוגים ואנציקלופדיות, כאשר קטגוריות אחרות כוללות רשומות בודדות בלבד.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מוגדר רישיון בכרטיס המאגר. המעלה רק הפנה למאמר המקורי וביקש ציטוט, ולכן אין היתר מפורש לשימוש מסחרי.
כמה שטח אחסון צריך כדי לעבוד איתו?
ההורדה של קבצי הפרקט הדחוסים שוקלת כ־125 גיגה-בייט. בפועל מומלץ לעבוד במצב הזרמה כדי להימנע מהורדה מלאה לדיסק.
האם יש במאגר טקסטים בעברית?
לא. המאגר מוגדר כמאגר בסינית בלבד, והתוכן שבו נאסף כולו ממקורות רשת סיניים.
מאיפה הנתונים הגיעו במקור?
הנתונים מבוססים על גרסת 220G של פרויקט WuDao הסיני מ־2022. המעלה הנוכחי רק המיר את הקבצים לתצורת פרקט שמתאימה להאגינג פייס.
איך טוענים
טעינת המאגר כולו דורשת הורדה של כ־125 גיגה-בייט של קבצי פרקט דחוסים, המחולקים ל־368 קבצים שונים. אין צורך לבקש אישור גישה מיוחד כדי להתחיל להוריד. בגלל המשקל והנפח של הקבצים, מומלץ מאוד להפעיל את פרמטר ההזרמה streaming כדי לקרוא את הדגימות ברצף בלי לפוצץ את האחסון המקומי.
from datasets import load_dataset
ds = load_dataset("p208p2002/wudao")הרישיון
בעמוד הדאטהסט לא מופיע רישיון רשמי. המפרסם מפנה לפרסום המקורי של WuDao ב־Science Data Bank ומבקש לצטט את המאמר האקדמי שלהם מדצמבר 2022. היעדר רישיון ברור אומר שאי אפשר לדעת אם מותר להשתמש במידע לצרכים מסחריים, וכל אימון של מודל הפצה לחברות מהווה סיכון משפטי.