brwac

מה זה

המאגר מבוסס על סריקת אתרים ומכיל טקסטים שמייצגים פורטוגזית ברזילאית כפי שהיא מופיעה ברשת. בסך הכל נכללים בו 3.53 מיליון מסמכים שמגיעים ל־2.68 מיליארד טוקנים ו־5.79 מיליון טיפוסים שונים. הגרסה הזו שוחררה בינואר 2017 ונבנתה לפי התשתית של Wacky.

המבנה של כל רשומה כולל מזהה מסמך, כותרת, את הכתובת שממנה הטקסט נלקח, ואת תוכן הטקסט עצמו. התוכן מחולק לרשימת פסקאות שבתוכן רשימות של משפטים כמחרוזות. אין כאן חלוקה לסטים של בדיקה או תיקוף, אלא פיצול יחיד לאימון שמכיל את כל 3,530,796 הדוגמאות.

מתאים ל

• אימון מודלי שפה בפורטוגזית

  התאמת מודלי בסיס לייצור טקסט או מילוי מסכות בפורטוגזית ברזילאית על בסיס מיליארדי מילים.

• מחקר בלשני על שפת רשת

  ניתוח תחבירי, מילוני ומבני של פסקאות ומשפטים מתוך מיליוני דפי אינטרנט בפורטוגזית.

• מבחני ביצועים אקדמיים

  בדיקת יכולות הבנה וייצור שפה על קורפוס אינטרנטי נרחב במסגרת מחקרים שלא למטרות רווח.

איפה זה נופל

הנתונים נאספו לפני ינואר 2017, כך שהם לא משקפים שימושי שפה, אירועים או מושגים מהשנים האחרונות. השפה הבלעדית היא פורטוגזית, אין פה עברית או שפות נוספות. מעבר לכך, הכרטיס לא מספק פרטים על סינון תוכן, בדיקת פרטיות, זיהוי מידע רגיש או התמודדות עם הטיות ורעש מהרשת, כך שאי אפשר לדעת איזה תוכן פוגעני נכנס לסריקה בלי לבדוק את הדגימות בעצמכם.

איך טוענים

טעינת הנתונים לא מתבצעת במשיכה ישירה בלבד. הכרטיס מציין שצריך להוריד את הקבצים ידנית מאתר הפרויקט בכתובת של אוניברסיטת UFRGS, ומשם להפנות את סקריפט הטעינה של הדאטהסט. המאגר עצמו מכיל סקריפט בשם brwac.py לצד התיעוד. השדה החשוב ביותר לעבודה הוא שדה הטקסט, שמגיע כבר ברמת פסקאות ומשפטים, לצד שדות המקור כמו הכתובת והכותרת.

from datasets import load_dataset

ds = load_dataset("UFRGS/brwac")

הרישיון

הרישיון המוגדר במערכת הוא לא ידוע, אך בתיאור עצמו נכתב במפורש שהחומר זמין למטרות מחקר אקדמי בלבד. המפרסמים דורשים לא להשתמש בו ליישומים מסחריים. המשמעות ברורה: מודל שמיועד למוצר מסחרי או לשימוש עסקי לא יכול להתבסס על המאגר הזה.

הרישיון המלא ב־Hugging Face ↗