vngrs-web-corpus
קוד פתוחvngrs-aicc-by-nc-sa-4.02024-03-12
קורפוס ענק בטורקית שמחבר ומשביח נתונים משני מקורות רשת מוכרים. הוא נבנה במקור לאימון מודלי שפה כמו VBART ומכיל מעל 25 מיליארד טוקנים.
- 509הורדות בחודש
- 27לייקים
מה זה
המאגר מאחד את החלקים הטורקיים מתוך OSCAR-2201 ומתוך mC4, לאחר תהליך סינון וניקוי. הטקסטים נאספו מסריקות רשת פתוחות ומכילים 50.3 מיליון עמודים, שהם כ־25.33 מיליארד טוקנים לפי הטוקנייזר של VBART. הניקוי עצמו מתבסס על חוקים והיוריסטיקות שמתוארים במאמר המקורי של המודל.
המבנה של הנתונים פשוט. כל רשומה כוללת את הטקסט עצמו בשדה text, את שם הקורפוס שממנו הוא נלקח בשדה corpus, ואת המזהה המקורי של הדף באותו מקור בשדה original_id. אין כאן חלוקה מובנית לסט בדיקה או אימות בתוך המאגר, אלא חלוקה טכנית לקובצי אימון בלבד.
מתאים ל
- אימון מודלי שפה
אימון מודלים מבוססי טקסט בטורקית מאפס, כפי שנעשה בפרויקטים VBART ו־TURNA.
- ייצוגי מילים
בניית אמבדינגס וייצוגים וקטוריים של השפה הטורקית מתוך קורפוס רשת רחב.
- מחקר בלשני חישובי
ניתוח סטטיסטי והשוואתי של טקסט טורקי מודרני מתוך מקורות רשת שונים.
איפה זה נופל
התוכן מגיע כולו מזחילת רשת חופשית וכולל רק את השפה הטורקית. הסינון נעשה בכלים אוטומטיים והיוריסטיקות בלבד, ללא התחשבות במשמעות הסמנטית של הדברים. היוצרים מבהירים במפורש שחלק מהטקסטים עלולים להיות לא רלוונטיים או פוגעניים, ולא נעשתה עבודה ידנית כדי לסלק אותם. אם אתם מכוונים למודל שמייצר תוכן נקי, תצטרכו להפעיל שכבות סינון נוספות משלכם.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
לא. הרישיון הוא CC BY-NC-SA 4.0 שמונע במפורש כל שימוש מסחרי. המאגר מיועד אך ורק למטרות מחקר, וכל שימוש אחר דורש אישור מפורש מהיוצרים.
האם יש כאן טקסט בעברית?
אין כאן עברית כלל. המאגר מכיל אך ורק טקסטים בשפה הטורקית שנאספו וסוננו מתוך mC4 ו־OSCAR.
מאיפה הנתונים הגיעו ואיך הם נאספו?
הנתונים מורכבים מסריקות אינטרנט ציבוריות שנלקחו מתוך שני מאגרים גדולים: OSCAR-2201 ו־mC4. הצוות לקח את החלקים הטורקיים והפעיל עליהם תהליך ניקוי היוריסטי שמתואר במאמר VBART.
מה מייחד את הקורפוס הזה מול mC4 או OSCAR המקוריים?
הוא חוסך את הצורך להוריד את מאגרי הענק המקוריים ולבודד מתוכם את הטורקית. בנוסף, הופעל עליו סט חוקי ניקוי שנועד להכשיר את הטקסט ישירות לאימון מודלי שפה.
איך טוענים
הנתונים מחולקים ל־285 קובצי Parquet שונים, מ־train-00000 עד train-00284, לצד קובץ תיעוד. הגישה למאגר פתוחה לחלוטין ואין צורך לבקש אישור מיוחד מהיוצרים כדי להוריד אותו. בזמן הטעינה תצטרכו לעבוד בעיקר עם שדה הטקסט, כשהשדות corpus ו־original_id שימושיים בעיקר למעקב או לסינון לפי מקור המידע.
from datasets import load_dataset
ds = load_dataset("vngrs-ai/vngrs-web-corpus")הרישיון
הרישיון הוא cc-by-nc-sa-4.0. המשמעות ברורה: שימוש מסחרי אסור לחלוטין. מותר להשתמש במידע למחקר בלבד, חייבים לתת קרדיט למאמר של VBART, וכל יצירה נגזרת או מודל שמאומן על הדאטהסט חייבים להיות מופצים תחת אותו רישיון בדיוק.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא