escorpius
קוד פתוחLHFcc-by-nc-nd-4.02022-06-24
קורפוס ספרדית עצום שנאסף מכמעט פטה-בייט של Common Crawl ומכיל 104 מיליון מסמכים. הוא נוצר כדי לספק טקסט נקי ומסונן ברמת מסמך ופסקה עבור מודלי שפה.
- 1,637הורדות בחודש
- 17לייקים
מה זה
המאגר מורכב מטקסטים בספרדית שנשאבו מתוך כמעט פטה-בייט של Common Crawl, ועברו תהליך עיבוד מקבילי של חילוץ, ניקוי והסרת כפילויות. בניגוד לקורפוסים רב-לשוניים אחרים, כאן הושם דגש על שימור מבנה המסמכים וגבולות הפסקאות, תוך שילוב שני מזהי שפה, CLD2 ו־fastText, כדי להבטיח את איכות הטקסט.
סך הכל יש כאן 104 מיליון מסמכים ומעל 50 מיליארד מילים בנפח של 322.5 ג'יגה-בייט. הרשומות שומרות גם את כתובת ה־URL של דף המקור וגם את ה־URL של מקטע ה־WARC שממנו נלקחו, במטרה לעמוד ברגולציה האירופית.
מתאים ל
- אימון מקדים למודלי שפה
אימון בסיס של ארכיטקטורות יצירת טקסט על טקסט ספרדי נקי ומפולח ברמת פסקה.
- אימון מודלי fill-mask
לימוד ייצוגי שפה בספרדית עבור מודלים מבוססי מסכות הדורשים הקשר של מסמך מלא.
- מחקר על דה-דופליקציה
הערכת השפעת ניקוי כפילויות ושימור מבנה פסקאות על ביצועי מודלים בשפה הספרדית.
איפה זה נופל
היוצרים מצהירים מפורשות שהם לא ביצעו שום סינון תוכן או צנזורה על הטקסט, ומטילים את האחריות לניקוי על מי שמשתמש בו. הדאטהסט כולל ספרדית בלבד, כך שאין בו עברית או שפות אחרות, והוא פורסם באמצע 2022. המשמעות היא שנדרש סינון עצמאי של תוכן פוגעני או רעיל לפני שחושבים להכניס מודל שאומן עליו לשימוש פעיל.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא, הרישיון המדווח הוא CC BY-NC-ND 4.0 שאינו מתיר שימוש מסחרי מכל סוג. בנוסף, סעיף ה־ND אוסר על שיתוף תוכן שעבר עיבוד או נגזרות. הדאטהסט הזה מיועד למחקר אקדמי בלבד.
כמה שוקל הדאטהסט ואיך הוא שמור?
הנפח של הטקסט עומד על 322.5 ג'יגה-בייט שמכילים מעל 50 מיליארד מילים. המאגר מכיל 36 קבצים, והטקסט עצמו מחולק למקטעי קובצי es_corpus.jsonl. תצטרכו שטח אחסון גדול כדי לפרוק ולעבד את כל החלקים יחד.
האם יש במאגר טקסט בעברית?
אין במאגר טקסט בעברית בכלל. הוא נוצר במיוחד כדי לתת מענה למחסור בקורפוסים איכותיים בשפה הספרדית בלבד. הסינון שלו התבסס על זיהוי ספרדית באמצעות CLD2 ו־fastText.
במה הוא שונה ממאגרי ענק כמו mC4 או OSCAR?
לפי הבדיקה של היוצרים, mC4 ו־OSCAR אמנם גדולים אך סובלים מאיכות ניקוי נמוכה וחוסר בהסרת כפילויות. כאן יושם מנגנון דה-דופליקציה ייעודי בשם dLHF תוך שמירה על רמת מסמך ופסקה. מנגד, הרישיון כאן מגביל בהרבה ביחס לרישיונות של המתחרים.
איך טוענים
הנתונים מפוצלים לקובצי JSONL דחוסים או מחולקים לחלקים עם סיומות כמו aa, ab, ac מתוך 36 קבצים במאגר. הנפח הכולל של הטקסט מגיע ל־322.5 ג'יגה-בייט, כך שצריך שטח דיסק משמעותי ותהליך הזרמה או איחוד קבצים לפני האימון. אין צורך באישור גישה מיוחד כדי להוריד את הקבצים. בעת הטעינה, שדות המפתח כוללים את תוכן הטקסט ברמת מסמך ופסקה, לצד שדות המקור של הכתובות ברשת.
from datasets import load_dataset
ds = load_dataset("LHF/escorpius")הרישיון
הרישיון הוא CC BY-NC-ND 4.0. המשמעות היא שאין אישור לשימוש מסחרי, חובה לתת ייחוס ליוצרים, ואסור להפיץ יצירות נגזרות או שינויים של הקורפוס. מגבלת ה־ND מעמידה בסימן שאלה הפצה פומבית של משקולות של מודל שאומן ישירות עליו, ולכן הוא מתאים בעיקר למחקר פנימי ולא למוצר מסחרי.