Anime_novel_datasets

מה זה

הנתונים מורכבים מכ־153 כותרים שונים של ספרי אנימה, רומנים יפניים מתורגמים וספרות פופולרית בסינית, בהם כותרים מוכרים כמו פייט, מאדוקה מגיקה וסורד ארט אונליין. מפתח הפרויקט אסף את החומר כדי לאמן סוכנת אינטראקטיבית בשם שיאוי ו, שמשדרת באתר ביליבילי, במטרה להקנות לה תגובות אנושיות ואישיות מוגדרת.

הכרטיס לא מפרט מאיזה אתרים או קבצים נלקחו התרגומים, האם מדובר בסריקות OCR או תרגומי מעריצים, ואיזה סינון או ניקוי בוצע על הטקסט לפני שנשמר. אין כאן חלוקה לסט אימון, ולידציה או מבחן, אלא ריכוז ישיר של הטקסטים ברשימה רציפה.

מתאים ל

• אימון צ'אטבוט סיני

  לימוד סגנון דיבור ומשחק תפקידים מבוסס דמויות אנימה בסינית.

• מחקר כתיבה יצירתית

  ניתוח יכולת יצירת טקסט עלילתי וארוך במודלי שפה.

• הערכת תרגום עקיף

  בדיקת מבנים לשוניים של רומנים יפניים שתורגמו לסינית.

איפה זה נופל

הטקסט כולו בסינית בלבד, כך שהוא לא רלוונטי לאימון מודלים בעברית או באנגלית. הבעיה העיקרית כאן היא זכויות יוצרים: מדובר ביצירות ספרותיות מסחריות שלמות, מוגנות בזכויות יוצרים, שככל הנראה נאספו ללא אישור מהמוציאים לאור. המפתח לא מדווח על הסרת תוכן פוגעני או כפילויות, ולא הייתי משלב את המאגר הזה בשום מוצר מסחרי או ארגוני.

איך טוענים

הטעינה מתבצעת ישירות מתוך המאגר, שכולל שלושה קבצים בלבד. הקובץ המרכזי הוא combined_novels.json, שמרכז את כלל הרומנים למקום אחד. אין צורך בבקשת גישה או באישור מיוחד כדי להוריד את הקבצים. לפני שמתחילים לאמן, צריך לפתוח את קובץ ה־JSON ולבדוק איך המפתחות והשדות בנויים בפנים, כי התיעוד לא מציג את מבנה הסכמה.

from datasets import load_dataset

ds = load_dataset("Minami-su/Anime_novel_datasets")

הרישיון

המאגר מסומן תחת רישיון apache-2.0, שעל הנייר מתיר שימוש חופשי כולל שימוש מסחרי, שינוי והפצה תחת ייחוס. בפועל הסימון הזה בעייתי מאוד, כי היוצר אינו בעל הזכויות על ספרי האנימה שנאספו. אימון מודל על ספרים מוגנים חושף אתכם לתביעות על הפרת זכויות יוצרים, בלי קשר לתגית הרישיון שמופיעה בעמוד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗