CNNovel125K

מה זה

המאגר כולל ספרי פרוזה שלמים שירדו מאתר אירוח הרומנים הסיני ibiquw.com. כל רשומה כוללת את הטקסט המלא של הרומן על כל פרקיו, לצד מטא-דאטה בסיסי שכולל מזהה, שפת המקור, שם היצירה ושם המחבר. יש גם שדה איכות שנקרא q, אבל הוא מקובע על הערך 0.9 בכל הרשומות ולא מספק סינון אמיתי.

היוצרים לא ביצעו חלוקה לסטים של אימון, ולידציה או בדיקה, כך שכל הספרים מגיעים כמקשה אחת. אין כאן תיוג אנושי או עיבוד מעמיק של התוכן, אלא שאיבה ישירה של יצירות בדיוניות שנכתבו על ידי משתמשי האתר.

מתאים ל

• אימון מודלי יצירה

  אימון מקדים או כוונון עדין של מודלי שפה ליצירת דיאלוגים וסיפורים בדיוניים בסינית.

• סיווג טקסט ספרותי

  ניתוח וסיווג ז'אנרים וסגנונות כתיבה לפי שמות המחברים וכותרות היצירות.

• מחקר על הטיות ברשת

  בדיקת סטריאוטיפים והטיות תרבותיות בספרות רשת סינית פופולרית.

איפה זה נופל

הנתונים כולם בסינית מפושטת בלבד, בלי שום נגיעה לעברית או לשפות אחרות. הכרטיס מודה בפירוש שהמידע לא הושלם, ומזהיר שהטקסטים מכילים הטיות וסטריאוטיפים שנובעים מרומנים מקוונים עממיים. בנוסף, אין שום תיעוד על אופן הסינון, ניקוי הספאם או טיפול בתוכן פוגעני. אם אתם בונים מודל לקהל רחב, תצטרכו להריץ בעצמכם סינון קפדני של רעשי רשת ודפוסים בעייתיים.

איך טוענים

המאגר מחולק ל־68 קבצים בפורמט jsonl, כולל קבצים כמו cnnovel125k-00.jsonl ודומיו, ופתוח להורדה ישירה דרך Hugging Face בלי צורך באישור גישה. הטעינה נעשית בקלות דרך ספריית datasets הרגילה, אבל חשוב לזכור שכל שורת jsonl מחזיקה ספר שלם בתוך שדה הטקסט, מה שדורש תשומת לב לצריכת הזיכרון בזמן פריסה וטוקניזציה. המטא-דאטה מרוכז באובייקט meta פנימי ומכיל בעיקר את שם היצירה והמחבר.

from datasets import load_dataset

ds = load_dataset("RyokoAI/CNNovel125K")

הרישיון

הפרויקט מדווח תחת Apache 2.0, אבל זה תקף רק לקוד ולחלקי המאגר שהיוצרים עצמם כתבו. הטקסטים עצמם הם יצירות מוגנות בזכויות יוצרים של מחברים שונים, והמפיצים מסתמכים על טענת שימוש הוגן. בפועל, אימון מודל מסחרי על הטקסטים האלה מסוכן משפטית, כי אין אישור מפורש מבעלי הזכויות המקוריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗