large_spanish_corpus
קוד פתוחjosecannetemit2022-03-02
אוסף טקסטים לא מתויגים בספרדית מתוך 15 מקורות שונים, מוויקיפדיה ועד פרוטוקולים בינלאומיים. מתאים למי שבונה מודל שפה וצריך כיסוי רחב של ספרדית כתובה.
- 656הורדות בחודש
- 30לייקים
מה זה
המאגר כולל בין מאה אלף למיליון רשומות טקסט בספרדית, ללא תיוג למשימה ספציפית. הרשומות מגיעות מאיחוד של 15 מאגרים שונים שנאספו ממקורות ציבוריים ומוכרים. בין המקורות תמצאו ערכים מוויקיפדיה, ויקיחדשות וויקיציטוט שעובדו באמצעות כלי ייעודי מתוך דאמפ מאפריל 2019.
שאר החומר נלקח מפרויקטים כמו ParaCrawl, כתוביות של OpenSubtitles מגרסת 2018, תמלילי שיחות TED מ־2013, ומסמכים רשמיים של הפרלמנט האירופי, האו"ם והבנק המרכזי האירופי. הכרטיס לא מפרט תהליכי סינון מיוחדים מעבר לחילוץ הטקסט, ומאפשר גישה לכל מקור בנפרד או לכולם יחד כברירת מחדל.
מתאים ל
- אימון מקדים למודלי שפה
אימון מודל שפה בספרדית על טקסט כללי, חדשותי ורשמי בהיקף נרחב.
- התאמת תחום משפטי ומנהלי
אימון על מסמכי האו"ם והאיחוד האירופי לשיפור ביצועים בטקסטים רשמיים.
- טיוב נתונים לתרגום
בניית מודלי שפה המסייעים לתרגום מכונה בהתבסס על מקורות מקבילים.
איפה זה נופל
יוצרי המאגר לא מילאו את רוב שדות התיעוד בכרטיס, כך שאין שום מידע על הסרת מידע רגיש, סינון תוכן פוגעני או ניתוח הטיות. הנתונים ישנים למדי, ונאספו ממקורות שהוקפאו בין השנים 2013 ל־2019, מה שאומר שהשפה לא משקפת אירועים אקטואליים. בנוסף, אין במאגר אף מילה בעברית, והוא מיועד אך ורק לעבודה בספרדית. חלק גדול מהטקסטים מגיע מתרגומים מוסדיים ופרוטוקולים משפטיים, ולכן הסגנון נוטה להיות יבש ולא בהכרח מייצג שיח טבעי ויומיומי.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
כן, הרישיון המדווח הוא רישיון MIT הפתוח. הוא מאפשר אימון מודלים מסחריים ושימוש חופשי בנתונים, כל עוד אתם שומרים על תנאי הייחוס הבסיסיים.
האם יש במאגר טקסטים בעברית?
לא, המאגר מוגדר ומכיל טקסט בספרדית בלבד. אם אתם מחפשים נתונים בעברית לפרויקט מקומי, תצטרכו לפנות למאגרים אחרים.
מאיפה הנתונים הגיעו בפועל?
הטקסטים נאספו מ־15 מקורות פתוחים שונים ברשת. הם כוללים פרויקטים של ויקימדיה, תרגומים של מוסדות האיחוד האירופי והאו"ם, הרצאות TED וכתוביות סרטים.
האם המאגר כולל תיוגים לסיווג או משימות ספציפיות?
לא, מדובר באוסף טקסט גולמי ולא מתוייג. הוא מתאים בעיקר למשימות של מידול שפה כללי ולא למשימות מפוקחות הדורשות תוויות מוכנות מראש.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות הקריאה הרגילה לפונקציה load_dataset. הקבצים יושבים בארכיון raw.zip יחד עם סקריפט פייתון, ואין צורך בהרשמה מוקדמת או אישור גישה. אפשר לטעון את כל המאגרים בבת אחת תחת התצורה המשולבת, או לבחור תצורה ספציפית כמו זו של הוויקי כדי לחסוך זימן עיבוד ומשאבים. מבנה השדות המדויק לא מתועד בפירוט בכרטיס המקורי.
from datasets import load_dataset
ds = load_dataset("josecannete/large_spanish_corpus")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה, ודורש רק שמירה על הודעת זכויות היוצרים המקורית. הוא לא מחייב אתכם לחשוף את הקוד שלכם או לשתף את המודל המאומן תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש