RyokoAI_Syosetu711K

מה זה

המאגר מורכב מכ־711,700 יצירות ספרותיות שלמות שנאספו בין 26 ל־27 במרץ 2023 מאתר הפרסום העצמי היפני Syosetuka ni Narou. כל רשומה כוללת את טקסט היצירה המלא בכל פרקיה, לצד מטא-דאטה מפורט מה־API של האתר. הנתונים כוללים שדות כמו מזהה יצירה, שם ומזהה המחבר, כותרת, אורך במילים, מספר פרקים, מילות מפתח, ז'אנר, דירוגי גיל כמו R15 או R18, וכן ניקוד פופולריות וציון איכות מחושב.

איסוף המידע התבצע בשלבים, משיכת המטא-דאטה דרך ה־API, הורדת קובצי PDF של היצירות מאתר המראה pdfnovels.net, והמרתם לטקסט נקי באמצעות הכלי pdftotext וסקריפטים משלימים. המאגר מכיל כמעט כל יצירה שהייתה באתר באותו זמן, ללא סינון איכות או אורך, ולא בוצעה חלוקה מובנית לסט אימון ובדיקה.

מתאים ל

• אימון מודלי שפה ביפנית

  אימון מודלים ליצירת פרוזה וסיפורת בשפה היפנית בהיקף נרחב.

• סיווג ז'אנרים ופופולריות

  חיזוי ז'אנרים ודירוגי קוראים על בסיס טקסט ומילות מפתח.

• סינון תוכן לפי גיל

  זיהוי יצירות עם תכנים למבוגרים על בסיס תגיות R15 ו־R18.

איפה זה נופל

הנתונים לא עברו סינון תוכן כלל וכוללים חומרים למבוגרים ותכנים שמוגדרים כ־NSFW. הטקסטים מייצגים כתיבה חובבנית שמשקפת הטיות וסטריאוטיפים של מחברים שונים. תהליך החילוץ מ־PDF לטקסט עשוי להכיל שגיאות המרה מקומיות. כל החומר ביפנית בלבד ואין בו נתונים בעברית.

איך טוענים

המאגר פתוח לגישה ישירה ומחולק ל־21 קובצי JSONL ממוספרים מ־00 עד 20. כל שורה מייצגת רשומה יחידה המכילה את שדה הטקסט ואת אובייקט המטא-דאטה. לפני השימוש מומלץ להסתמך על השדות q, points ודירוגי הגיל כדי לסנן את הרשומות שמתאימות למטרת האימון שלכם.

from datasets import load_dataset

ds = load_dataset("botp/RyokoAI_Syosetu711K")

הרישיון

המאגר מדווח תחת רישיון apache-2.0 עבור החלקים שנוצרו בידי מפרסמי הדאטהסט. הטקסטים עצמם הם יצירות ספרותיות מוגנות בזכויות יוצרים של כותביהן, והמפרסמים מציינים שהם מופצים תחת שימוש הוגן. מצב זה מייצר סיכון משפטי ברור בשימוש מסחרי במודלים שמאומנים על הטקסטים המקוריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗