ParallelFiction-Ja_En-100k

מה זה

כל רשומה במאגר מחזיקה פרק שלם מרומן רשת יפני לצד התרגום המקביל שלו לאנגלית, כשהמשפטים מיושרים זה מול זה. המטרה המוצהרת היא תרגום ברמת מסמך שלם ולא רק משפטים בודדים ומנותקים מהקשר.

מדובר בגרסה שנייה שמכילה כעת 106 אלף פרקים, לעומת 103 אלף בגרסה הקודמת. המפתח שכתב את קוד יישור המשפטים כדי לפתור בעיות שעלו בדיונים, הוסיף מטא-דאטה של הסדרות ושמר על כותרות הפרקים. מבחינת סינון איכות התרגום, לא נעשה כאן שום סינון כזה לפי התיעוד, והיוצר ציין שהוא עדיין בודק שיטות לבצע את זה.

מתאים ל

• אימון מודלי תרגום מסמכים

  לימוד מודלים לתרגם פסקאות ופרקים שלמים מיפנית לאנגלית תוך שמירה על הקשר רחב.

• מחקר על יישור טקסט דו-לשוני

  בדיקת אלגוריתמים להתאמת משפטים בין שפות עם מבנה תחבירי שונה לחלוטין.

• כוונון לתרגום ספרותי ודיאלוגים

  התאמת מודל שפה לסגנון הדיבור והכתיבה הייחודיים לרומנים יפניים ברשת.

איפה זה נופל

הבעיה המרכזית פה היא היעדר מוחלט של סינון איכות על התרגומים, מדובר בתרגומי מעריצים שיכולים להיות מדויקים מאוד או גרועים לחלוטין. בנוסף, הטקסט מוגבל ליפנית ולאנגלית בלבד, ומתמקד בסגנון כתיבה מאוד מסוים של רומני רשת, כך שהוא לא מתאים לאימון על טקסטים טכניים או יומיומיים. היישור ברמת המשפטים אמנם שוכתב, אבל עדיין עלול לכלול שגיאות יישור במעבר בין שפות שונות כל כך.

איך טוענים

אתם מושכים את הקובץ ישירות מיוגינג פייס, כשהנתונים יושבים בקובץ JSONL בשם dataset-Ja_En-Massive-v2.jsonl. אין צורך לבקש אישור גישה והמאגר פתוח להורדה מיידית. שימו לב שהרשומות כוללות כעת כותרות פרקים ומטא-דאטה ייעודי לסדרות שנאספו, כך שכדאי לבדוק את המבנה של השורות לפני שדוחפים אותן לפייפליין האימון.

from datasets import load_dataset

ds = load_dataset("NilanE/ParallelFiction-Ja_En-100k")

הרישיון

המאגר מוגדר רשמית תחת apache-2.0, אבל יש פה כוכבית משפטית גדולה. היוצר מציין במפורש שהטקסטים עצמם מופצים תחת טענת שימוש הוגן, ושהוא לא עורך דין וממליץ לנהוג בזהירות. הוא מתחייב להסיר סדרות אם מחברים או מתרגמים ידרשו זאת. אם אתם מתכננים מוצר מסחרי, ההסתמכות על הטקסטים האלה מסוכנת מאוד מבחינת זכויות יוצרים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗