GPT-NL_Public_Corpus
קוד פתוחGPT-NLcc-by-4.02025-11-18
מאגר ענק של 524 מיליארד טוקנים ברישיון חופשי, שמתוכם 36 מיליארד בהולנדית והשאר קוד ואנגלית. הוא מיועד למי שרוצה לאמן מודלים על שפות אירופיות בלי להסתבך עם זכויות יוצרים.
- 3,249הורדות בחודש
- 18לייקים
מה זה
המאגר מורכב מ־29 תתי-אוספים שחולקו לארבעה מקורות עיקריים. יש כאן חומרים שנאספו ישירות מגופים ממשלתיים, פרלמנטריים ומשפטיים בהולנד, לצד סריקות של ארכיונים לאומיים וספריות. חלק נוסף נשען על אוספים מוכרים בנחלת הכלל כמו OpenAlex, ספרים מהספרייה הלאומית של ארה״ב, ומאגר קוד מגיטהאב שמכיל 232 מיליארד טוקנים. בנוסף, הצוות שילב טקסטים סינתטיים מתעתיקי יוטיוב ונתוני ויקידאטה, ומעט זחילה מסוננת מהרשת.
כל רשומה מגיעה עם הטקסט המלא ושדות מטא-דאטה מפורטים הכוללים מזהה, מקור, כותרת, שפה, רישיון ספציפי, וקישור למקור. הצוות הפעיל צינור סינון שכלל בדיקות איכות היוריסטיות, זיהוי שפה, וחישוב מדדים כמו אורך מילים ממוצע ומספר תווים. חלק מרכזי בתהליך היה ניקוי של מידע מזהה אישי, כולל כתובות דוא״ל, מספרי טלפון, וכרטיסי אשראי, לצד אנונימיזציה של שמות אנשים פרטיים.
מתאים ל
- אימון מקדים של מודלי שפה
בסיס של 524 מיליארד טוקנים לאימון מודלים רב-לשוניים שמתמקדים בהולנדית, אנגלית וקוד.
- פיתוח יישומים למגזר הציבורי
אימון או כוונון עדין למערכות שצריכות להבין שפה בירוקרטית, מסמכי מדיניות ופסיקות משפטיות.
- מחקר על דאטה נקי מפרטיות
בדיקת ביצועים של מודלים שאומנו על טקסט שעבר הסרת פרטים אישיים ואנונימיזציה מובנית.
איפה זה נופל
ההטיה המרכזית בחלק ההולנדי היא סגנונית ונובעת מהמקורות: יש כאן בעיקר שפה רשמית, משפטית ומנהלית מפרוטוקולים של עיריות ובתי משפט. מודל שיאומן רק על זה יתקשה מאוד להבין שפת יומיום או סלנג. מעבר לזה, חלק מטקסטי הארכיון ונחלת הכלל ישנים וכוללים תפיסות מיושנות. נקודה קריטית למפתחים בארץ: אין כאן עברית בכלל. השפות במאגר הן הולנדית, אנגלית, גרמנית, דנית ופריזית.
שאלות
נפוצות
האם יש במאגר טקסטים בעברית?
לא. המאגר מתמקד בהולנדית וכולל גם אנגלית, קוד, גרמנית, דנית ומעט פריזית. הוא לא רלוונטי למי שמחפש תוכן מקומי.
האם מותר להשתמש בדאטהסט לאימון מודל מסחרי?
כן, רישיון העל של המאגר הוא CC-BY 4.0 שמתיר שימוש מסחרי בכפוף למתן קרדיט. יחד עם זאת, בכל רשומה מופיע הרישיון המקורי של התוכן, ובמאגרי הקוד יש קישורים ישירים לרישיונות המקוריים בגיטהאב.
איזה סוג תוכן הולנדי נמצא שם בעיקר?
רוב החומר מגיע ממשרדי ממשלה, דיוני פרלמנט, פסקי דין, הודעות רשמיות וארכיונים היסטוריים. יש מעט מאוד טקסט שיחתי רגיל, למעט תעתיקים סינתטיים מיוטיוב.
האם המאגר דורש הרשאת גישה מיוחדת?
לא, הגישה חופשית לחלוטין ואין צורך למלא טפסי אישור כדי להוריד את הקבצים. עם זאת, מדובר באלפי קובצי Parquet, כך שצריך להיערך לנפח הורדה ואחסון גדול.
איך טוענים
המאגר מחולק ל־8,320 קבצים בפורמט Parquet, כך שטעינה מקומית מלאה דורשת תשתית אחסון כבדה מאוד. אין צורך בבקשת גישה מיוחדת, הקבצים פתוחים להורדה ישירה דרך Hugging Face. בזמן העבודה עם הנתונים, כדאי לשים לב לשדה text שמכיל את התוכן הנקי, לשדה language כדי לסנן את השפה הרצויה, ולשדות האיכות כמו language_score ו־avg_word_length אם רוצים לחתוך טקסטים גבוליים.
from datasets import load_dataset
ds = load_dataset("GPT-NL/GPT-NL_Public_Corpus")הרישיון
המאגר עצמו מופץ תחת רישיון CC-BY 4.0, שמתיר שימוש מסחרי, שינוי ואימון מודלים, בתנאי שנותנים קרדיט ומצטטים את הפרסום של היוצרים. עם זאת, היוצרים מציינים שבתוך המטא-דאטה מופיע הרישיון המקורי של כל רשומה, שנע בין נחלת הכלל, CC-0, לרישיונות קוד פתוח ספציפיים מגיטהאב. מי שמפתח מוצר מסחרי צריך לבדוק את עמודת הרישיון ברשומות שהוא מושך.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס