J-ResearchCorpus
קוד פתוחkunishouother2024-02-12
טקסטים אקדמיים מלאים ביפנית שחולצו ממאמרים וכתבי עת ברישיון פתוח. המטרה כאן היא אימון מודלי שפה או טיוב RAG על תוכן מקצועי ומובנה במקום עוד גרידה של אתרי אינטרנט.
- 103הורדות בחודש
- 32לייקים
מה זה
המאגר מכיל כ־39 מיליון תווים שחולצו מתוך 3,238 מאמרים אקדמיים שונים ביפנית. המבנה נשמר בפורמט Markdown הכולל כותרות, פסקאות, רשימות מקורות ונוסחאות מתמטיות, בדיוק כפי שהופיעו בפרסום המקורי.
רוב החומר מגיע מתחום עיבוד השפה הטבעית ביפן. 1,924 רשומות נלקחו ממאמרי הכנס השנתי של האגודה לעיבוד שפה טבעית בין השנים 2021 ל־2024, ועוד 363 מאמרים מכתב העת של האגודה החל משנת 2009. יתרת התוכן מתחלקת בין כתב העת של האגודה לארכיונים דיגיטליים עם 744 מאמרים, מחקר סיכונים עם 100 מאמרים, כתב העת של האוניברסיטה לרפואה לנשים בטוקיו עם 96 מאמרים, ועוד 11 מאמרים מכתב העת של האגודה התרמואלקטרית.
מתאים ל
- אימון המשך למודל שפה
העשרת אוצר המילים וההבנה המדעית של מודלים ביפנית על גבי טקסט אקדמי מוקפד.
- מערכות RAG טכניות
בניית מאגר ידע ושליפה לתחום עיבוד השפה הטבעית ומחקר אקדמי ביפנית.
- הערכת ביצועי מודלים
בדיקת יכולת המודל בהבנת מבנה אקדמי מורכב, נוסחאות וסיכום טקסטים מקצועיים.
איפה זה נופל
הנתונים מוטים מאוד לתחום ה־NLP ומדעי המחשב, כשמעל 70% מהמאמרים מגיעים מאגודה מקצועית אחת. התוכן הרפואי וההנדסי זניח לחלוטין בהשוואה. בנוסף, כל הטקסט הוא ביפנית בלבד, למעט ציטוטים ומונחים באנגלית. לא מדובר בכמויות ענק לאימון מודל בסיס מאפס, אלא בתוספת איכותית. אם אתם מחפשים סגנון כתיבה יומיומי, סלנג, או דיאלוגים, לא תמצאו אותם כאן, מדובר אך ורק בשפה אקדמית פורמלית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
כן, כל המאמרים בקובץ פורסמו במקור תחת רישיון CC-BY-4.0 שמתיר שימוש מסחרי. חובה רק לשמור על תנאי הייחוס (Attribution) ולתת קרדיט לפי הנתונים המופיעים בשדות הרשומה.
האם יש במאגר טקסטים בעברית או באנגלית?
אין שום תוכן בעברית. השפה המוצהרת היא יפנית, והתוכן באנגלית מוגבל לשמות חוקרים, מונחים מקצועיים או רשימות ביבליוגרפיות שמופיעות בגוף המאמרים.
מה היקף המאגר בפועל?
המאגר כולל 3,238 מאמרים וסך הכל כ־39 מיליון תווים ביפנית. הוא שמור בקובץ jsonl יחיד ואינו דורש משאבי אחסון חריגים.
איך נאספו המאמרים ומדוע חסרים פרסומים ישנים?
היוצר אסף מאמרים מכתבי עת שונים תוך וידוא שהם ברישיון פתוח. לדוגמה, מאמרי כנס ה־NLP נלקחו רק מ־2021 עד 2024, מאחר שהאגודה אישרה שמאמרים משנת 2020 ומטה לא שוחררו תחת רישיון CC-BY-4.0.
איך טוענים
אין צורך באישור גישה או מפתח מיוחד, המאגר פתוח להורדה ישירה דרך Hugging Face. הנתונים שמורים בקובץ jsonl בשם j_researchcorpus_20240316.jsonl. בכל רשומה יש חמישה שדות: שם הקובץ המקורי (filename), הטקסט המלא (text), מקור המאמר (category), הרישיון הספציפי (license) ושדה הקרדיט (credit). לצורך אימון שפתי, שדה text הוא היחיד שמעניין, אבל שדות הרישיון והקרדיט קריטיים אם אתם בונים מערכת שדורשת עמידה בתנאי שימוש.
from datasets import load_dataset
ds = load_dataset("kunishou/J-ResearchCorpus")הרישיון
הרישיון הכללי של המאגר מוגדר כ־other, אך ברמת הרשומות כל המאמרים שנאספו מוגדרים תחת רישיון CC-BY-4.0. המשמעות היא ששימוש מסחרי מותר לחלוטין, ואין חובת שיתוף זהה (ShareAlike) על המודל שתאמנו. הדרישה היחידה היא מתן ייחוס מתאים לפי שדות ה־credit וה־license שנמצאים בכל שורה בקובץ.