aroeira
קוד פתוחItau-Unibancocc-by-nc-4.02024-08-27
קורפוס ענק לפורטוגזית של כ־100GB ו־15 מיליארד טוקנים, שנאסף מרשת האינטרנט ועבר סינון קפדני. הוא מיועד לחוקרים שמחפשים בסיס רחב לאימון מודלים בשפה הזו.
- 249הורדות בחודש
- 26לייקים
מה זה
המאגר מורכב מטקסטים פתוחים שנקצרו בעיקר מתוך Common Crawl, וכולל כ־34.9 מיליון מסמכים בפורטוגזית ברזילאית ובפורטוגזית של פורטוגל. כל רשומה כוללת ארבעה שדות בסיסיים: מזהה ייחודי, הטקסט הגולמי כפי שחולץ מדפי אינטרנט, הכתובת שממנה הוא נלקח ותאריך הגישה שבו האתר נקצר. אין כאן חלוקה מובנית לסטים של בדיקה או ולידציה, אלא רק סט אימון יחיד.
תהליך העיבוד חולק לשני מסלולים מרכזיים עם תשעה שלבים בסך הכל. המסלול הראשון כלל דגימה, חילוץ טקסט, זיהוי שפה, הסרת כפילויות ומסנני איכות טכניים. המסלול השני התמקד בבטיחות תוכן והפעיל סינון של תכנים מיניים, הסרת שפה רעילה ואלימות, ניקוי הטיות מגדריות וגזעיות, וקטגוריזציה של הטקסטים.
מתאים ל
- אימון מודלי שפה בפורטוגזית
אימון מקדים של מודלי בסיס גדולים עם 15 מיליארד טוקנים מסוננים בפורטוגזית ברזילאית ואירופית.
- מחקר על הטיות ורעילות
בדיקת יעילות של סינוני תוכן אוטומטיים על טקסט שנאסף מ־Common Crawl מול מדגמים מטוהרים.
- הערכת ביצועי שפה
בניית מבדקים ומדידות השוואתיות של מודלים קיימים מול טקסט ווב מגוון ורחב היקף.
איפה זה נופל
הנתונים מוגבלים לחלוטין לפורטוגזית ואינם כוללים עברית כלל. נקודת החיתוך של המידע היא דצמבר 2023, כך שאירועים או שינויי שפה מאוחרים יותר אינם משתקפים בו. למרות מערך הסינון לבטיחות והטיות, המפתחים מבהירים שהבדיקה נעשתה על מדגמים בלבד ושעדיין קיימת סבירות לזליגת תוכן בעייתי או מוטה, כך שחובת הסינון הנוסף חלה עליכם. כמו כן, היעדר חלוקה מובנית למבחן מחייב אתכם לפצל את הנתונים בעצמכם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון הוא cc-by-nc-4.0 ואוסר מפורשות כל שימוש מסחרי, כולל פיתוח מוצרים או שירותים למטרות רווח. השימוש מוגבל למחקר אקדמי ולניסויים בלבד.
כמה מקום המאגר תופס בדיסק?
המאגר שוקל כ־100GB בגרסתו הנוכחית. הוא מחולק לעשרה קובצי parquet עיקריים שמרכיבים יחד כ־15 מיליארד טוקנים.
האם יש במאגר טקסטים בעברית?
לא, אין בו עברית כלל. המאגר ממוקד כולו בפורטוגזית בשני הניבים העיקריים שלה, פורטוגל וברזיל.
מאיפה הגיעו הנתונים ומה תאריך העדכון שלהם?
הטקסטים נאספו בעיקר מסריקות של Common Crawl של אתרי אינטרנט פתוחים. נקודת החיתוך של איסוף הנתונים היא דצמבר 2023, והוא פורסם לקראת סוף 2024.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות פקודת load_dataset עם המזהה Itau-Unibanco/aroeira. אין צורך בבקשת גישה מיוחדת, המאגר ציבורי. במאגר יש 12 קבצים, מתוכם 10 קובצי parquet של סט האימון, כך שכדאי להביא בחשבון נפח הורדה ואחסון של כ־100GB לפני שמתחילים. השדה המרכזי לעבודה הוא text, לצד url ו־access_date שימושיים למי שרוצה לעקוב אחרי מקורות המידע.
from datasets import load_dataset
ds = load_dataset("Itau-Unibanco/aroeira")הרישיון
המאגר מופץ תחת רישיון cc-by-nc-4.0. המשמעות ברורה וחדה: מותר להשתמש בטקסטים למטרות מחקר, ניסויים ולמידה, אך אסור בהחלט להשתמש בהם לבניית מוצרים מסחריים או לכל פעילות מסחרית אחרת. כל שימוש מחייב מתן קרדיט מלא למפתחים. אם תאמנו מודל על הדאטהסט הזה, הרישיון לא יאפשר לכם למכור אותו או להציע שירותים בתשלום סביבו.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא