corpus-carolina
קוד פתוחcarolina-c4aicc-by-4.02022-03-28
מאגר טקסטים רחב בפורטוגזית ברזילאית עכשווית שמגיע עם מטא דאטה מפורט על מקור התוכן. הוא מתאים למי שמאמן מודלים לשפה הזו וצריך שליטה בסוגי הטקסט שנכנסים לאימון.
- 1,822הורדות בחודש
- 32לייקים
מה זה
המאגר מכיל 2,108,999 רשומות טקסט שמחולקות לשבע קטגוריות תוכן שונות, מסמכים ממשפטיים ועד ויקי ורשתות חברתיות. כל רשומה כוללת שני שדות בלבד, טקסט גולמי ומחרוזת XML שמכילה מידע על מקור המסמך לפי תקן TEI P5. החלוקה הפנימית לא מאוזנת מבחינת גדלים. ויקי ומאגרי טקסט קיימים תופסים יחד מעל 9.5 ג'יגה בייט וקרוב לשני מיליון רשומות.
מקורות החקיקה והמשפט כוללים פחות רשומות, 3,982 ו־38,187 בהתאמה, אבל שוקלים מעל 5 ג'יגה בייט במצטבר בגלל אורך המסמכים. הקטגוריות של רשתות חברתיות ויצירות ברשות הרבים קטנות בהרבה ומסתכמות בעשרות מגה בייטים בודדים. הטקסטים נאספו מהרשת וממאגרים דיגיטליים, והם מייצגים פורטוגזית שנכתבה משנת 1970 ואילך.
מתאים ל
- אימון מודלי שפה בפורטוגזית
אימון מקדים של מודלי שפה או מודלי מיסוך לפורטוגזית ברזילאית עם טקסטים מאומתים.
- פילוח דאטה לפי תחומים
בניית קורפוס ייעודי לתחום המשפטי או האקדמי על ידי סינון ממוקד לפי קטגוריות.
- מחקר בלשנות חישובית
ניתוח שינויים ותכונות במבנה הטקסט הברזילאי העכשווי תוך שימוש במטא דאטה.
איפה זה נופל
המאגר מוגבל אך ורק לפורטוגזית ברזילאית משנת 1970 והלאה, כך שאין בו שום תוכן בעברית או באנגלית והוא לא מתאים למודלים רב לשוניים. האיזון בין התחומים בעייתי מאוד, כאשר רוב הנפח מגיע מוויקי ומחקיקה, בעוד שתוכן יומיומי כמו רשתות חברתיות כמעט לא קיים שם. בנוסף, הכרטיס מציין שהטקסטים עצמם נאספו ממקורות שונים בעלי רישיונות מגוונים, מה שמחייב בדיקה פרטנית של מקור הטקסט לפני שמשלבים אותו במערכת מסחרית.
שאלות
נפוצות
האם המאגר כולל טקסטים בעברית?
לא. המאגר מכיל אך ורק טקסטים בפורטוגזית ברזילאית עכשווית שנכתבו החל משנת 1970. הוא לא רלוונטי למי שמחפש נתונים בעברית.
האם אפשר להשתמש בנתונים לפרויקט מסחרי?
הרישיון המדווח ברמת המאגר הוא cc-by-4.0, שמתיר שימוש מסחרי בכפוף למתן קרדיט. עם זאת, היוצרים מבהירים שהרישיון חל על שכבת המטא דאטה, וכי הטקסטים עצמם נאספו ממקורות מגוונים עם רישיונות שונים שדורשים בדיקה.
מה הגודל של המאגר והאם חייבים להוריד הכל?
הנפח הכולל עומד על כ־15 ג'יגה בייט ומכיל מעל שני מיליון רשומות. אין חובה להוריד את כולו, כי סקריפט הטעינה מאפשר למשוך קטגוריה בודדת בלבד לפי קוד קצר.
איך המידע מחולק בתוך הקבצים?
הנתונים לא מגיעים עם חלוקה לטריין, ולידציה או טסט, אלא תחת חלוקה יחידה בשם corpus. כל פריט כולל את גוף הטקסט ומחרוזת XML עם פרטי המקור שצריך לפרסר לבד.
איך טוענים
טוענים את הנתונים דרך ספריית datasets באמצעות הזיהוי carolina-c4ai/corpus-carolina, ללא צורך בהרשאות גישה מיוחדות. סך כל הקבצים שוקל כ־15 ג'יגה בייט בפורמט XML מכווץ. אפשר לטעון קטגוריה ספציפית באמצעות פרמטר taxonomy עם קוד בן שלוש אותיות כמו wik או leg. שדה המטא דאטה מגיע כמחרוזת טקסט גולמית, כך שתצטרכו לפרסר אותו כ־XML כדי לחלץ נתונים מובנים. אין חלוקה מובנית לטריין וטסט, הכל מגיע תחת ספליט יחיד בשם corpus.
from datasets import load_dataset
ds = load_dataset("carolina-c4ai/corpus-carolina")הרישיון
המאגר מדווח תחת רישיון cc-by-4.0 שמתיר שימוש מסחרי ושינויים תחת מתן קרדיט. עם זאת, יוצרי המאגר מציינים מפורשות שהרישיון הזה חל בוודאות על כותרות המטא דאטה, בעוד שהטקסטים עצמם לוקטו ממאגרים שונים ברשת עם תנאי שימוש נפרדים שיש לבדוק עצמאית.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס