LightNovel5000
קוד פתוחbh2821zlib2025-04-16
מאגר שמביא כ־1,500 רומנים קלים מתורגמים לסינית, שנאספו מאתרים פתוחים שלא חסמו סריקה. הוא מכוון למי שמחפש טקסטים עלילתיים שלמים כדי לאמן מודלים על סגנון כתיבה ייחודי.
- 736הורדות בחודש
- 40לייקים
מה זה
המאגר מכיל כ־1,500 רומנים קלים יפניים שתורגמו לסינית, לצד תיוג שפות שכולל גם אנגלית. התוכן מחולק לקובצי טקסט פשוטים וקובצי PDF שכוללים איורים. המקור הוא אתרים ציבוריים שלא אסרו על זחלנים, והיוצר ביצע סינון וניקוי חלקיים בלבד לטקסט, בלי התחייבות שהחומר נקי מטעויות או משאריות סריקה.
המבנה של הקבצים מורכב מכמה חלקים. יש תיקיית דוגמאות פתוחה כדי לבחון את המבנה, קובץ טקסט מאוחד בשם concat.txt שמחזיק את כל הספרים יחד, וטבלאות מיפוי של כותרות ותיאורים בפורמטים של CSV ו־Excel. שאר קובצי הטקסט וה־PDF המלאים שמורים בארכיונים מוצפנים, והסיסמה לפתיחה נמצאת בתיקיית passcode.
מתאים ל
- אימון מודלים לכתיבה יוצרת
לימוד סגנון כתיבה עלילתי ודיאלוגים מתוך אלפי פרקים של רומנים קלים מתורגמים.
- אימון ותרגום סינית אנגלית
שימוש בטקסטים ובתיאורים שנאספו כדי לשפר יכולות עיבוד שפה בסינית עם הקשרים עלילתיים.
- מחקר על סריקת תוכן ספרותי
ניתוח מבנה של טקסטים שנסרקו מהרשת ובדיקת איכות של תרגומי מעריצים לספרות יפנית.
איפה זה נופל
היוצר מבהיר שהטקסט עבר ניקוי חלקי בלבד, מה שאומר שתמצאו בפנים זבל שמקורו בסריקה מאתרים. השפות הרשומות הן סינית ואנגלית, ואין כאן עברית בכלל. בנוסף, מדובר בתרגומים של רומנים קלים שנסרקו מהרשת, כך שיש סיכון ממשי לבעיות זכויות יוצרים על התוכן המקורי עצמו, גם אם האתר שממנו זה נלקח לא חסם סריקה ברובוטס. גרסה זו כוללת כ־1,500 ספרים מתוך 5,000 שמתוכננים בהמשך.
שאלות
נפוצות
האם יש במאגר טקסטים בעברית?
לא. המאגר כולל אך ורק רומנים קלים שתורגמו לסינית, עם תיוג לשפות סינית ואנגלית בלבד. אין בו שום מידע בעברית.
האם מותר להשתמש בחומרים האלה למוצר מסחרי?
הרישיון שמצוין במאגר הוא zlib המתירני, אך התוכן עצמו מורכב מספרי רומן קל שנסרקו מאתרים ברשת. בגלל שמדובר ביצירות מוגנות בזכויות יוצרים, שימוש מסחרי במודל שאומן עליהן חושף אתכם לסיכון משפטי.
איך ניגשים לתוכן אם הקבצים נעולים?
חלק מהחומרים, כולל קובצי הטקסט וה־PDF, שמורים בארכיונים מוצפנים. כדי לפתוח אותם צריך להוריד את הקובץ מתוך תיקיית passcode שמופיעה במאגר, ולקחת משם את סיסמת החילוץ.
איך נאסף הטקסט ומה רמת הניקיון שלו?
הנתונים נאספו בזחילה מאתרים פתוחים שלא חסמו סריקה. היוצר מציין במפורש שהטקסטים עברו ניקוי חלקי בלבד, ואינו מתחייב לכך שהם נקיים לחלוטין משגיאות סריקה או לכלוך טקסטואלי.
איך טוענים
אי אפשר לטעון את זה ישירות בשורה אחת של קוד. רוב הקבצים בארכיון שמורים בתוך קובצי PDF ו־TXT מוצפנים, כך שצריך קודם להוריד את הקבצים ידנית, לפתוח את תיקיית passcode כדי למצוא את הסיסמה, ולחלץ את התוכן. עבור מי שרוצה לגשת ישירות לטקסט המלא בלי לפתוח מאות קבצים, קובץ concat.txt מרכז את כל הספרים במקום אחד, לצד description.xlsx שמכיל את שמות הכותרים והתיאורים שלהם.
from datasets import load_dataset
ds = load_dataset("bh2821/LightNovel5000")הרישיון
הרישיון המדווח במאגר הוא zlib. מדובר ברישיון תוכנה מתירני שמאפשר שימוש מסחרי ושינוי קוד כמעט ללא הגבלה, למעט איסור על הצגת הקוד המקורי כשלכם. עם זאת, קיים פער מהותי בין רישיון הקוד שהעלה המשתמש לבין זכויות היוצרים על הספרים עצמם שנסרקו מהרשת, כך שלא מומלץ להסתמך עליו לאימון מודל מסחרי בלי בדיקה משפטית.