news_commentary
קוד פתוחHelsinki-NLPunknown2022-03-02
מאגר מקבילי לתרגום מכונה שמבוסס על פרשנויות חדשות בעולם. הוא מציע זוגות משפטים בשפות שונות עבור מי שמאמן מודלים על טקסט עיתונאי מורכב.
- 1,473הורדות בחודש
- 39לייקים
מה זה
המאגר מציע טקסטים מקבילים לתרגום שמקורם בפרויקט OPUS News-Commentary. הרשומות מורכבות מזוגות של משפטים מתורגמים שחולצו מתוך מאמרי דעה, חדשות ופרשנות פוליטית וכלכלית. סגנון הכתיבה שם נוטה להיות רשמי, עשיר באוצר מילים ומובנה יחסית, בשונה משיחות יומיומיות ברשת.
המבנה מחולק לפי צמדי שפות ספציפיים, כאשר כל צמד מגיע כקובץ אימון עצמאי. האוסף כולל שפות כמו ערבית, צ'כית, גרמנית, אנגלית, ספרדית, צרפתית, איטלקית, יפנית, הולנדית, פורטוגזית, רוסית וסינית. כרטיס המאגר המקורי אינו מפרט על תהליכי סינון ידניים או כללי ניקוי מיוחדים מעבר לחלוקה הבסיסית הזו, כך שהנתונים משקפים ישירות את העיבוד של פרויקט המקור.
מתאים ל
- אימון תרגום חדשות
אימון או כוונון עדין של מודלים לתרגום כתבות ופרשנות בין שפות אירופיות, ערבית ושפות אסייתיות.
- הערכת ביצועי מודל
בדיקת איכות של מודל קיים על משפטים מורכבים ורשמיים בשפות כמו גרמנית, צרפתית או סינית.
- מחקר בלשני חישובי
ניתוח מקבילי של שיטות תרגום והבדלי תחביר בטקסטים פוליטיים וכלכליים מגוונים.
איפה זה נופל
הבעיה הבולטת ביותר עבור מפתח בישראל היא שעברית בכלל לא נמצאת ברשימת השפות. אם אתם מחפשים לאמן מודל לוקאלי, אין לכם מה לחפש כאן. בנוסף, מדובר בטקסטים של פרשנות חדשותית, תחום שסובל מנטאי פוליטי מובהק ושימוש בעגה מקצועית שלא מתאימה למוצרים מבוססי שיחה חופשית או שירות לקוחות. החומר הועלה במרץ 2022 בלי תיעוד מסודר בכרטיס לגבי הטיות ידועות, סינון מידע רגיש או שיטות בקרת איכות. לפני שאתם זורקים את זה למודל אמיתי, אתם חייבים לדגום את הנתונים ולבדוק התאמה.
שאלות
נפוצות
האם יש במאגר עברית?
לא. המאגר מכיל רק שפות ספציפיות כמו ערבית, אנגלית, גרמנית, רוסית ואחרות, ולכן הוא לא מתאים לפרויקטים מקומיים בעברית.
האם מותר להשתמש בו למוצר מסחרי?
הרישיון מוגדר כלא ידוע. בגלל שאין היתר שימוש ברור, לא כדאי להסתכן בבניית מוצר מסחרי על הנתונים האלה.
האם צריך חומרה חזקה כדי להוריד ולעבד אותו?
לא. מדובר בטווח של עשרת אלפים עד מאה אלף שורות בסך הכל ששמורות בפורמט פרקט, כך שאפשר להוריד ולפתוח את הקבצים בקלות על כל מחשב רגיל.
איך טוענים
אתם יכולים לטעון את הנתונים ישירות דרך ספריית datasets באמצעות המזהה של Helsinki-NLP, בלי צורך לבקש אישור גישה מוקדם או להמתין למפתח. המאגר מאורגן בשישים וחמישה קבצי parquet, כאשר כל קובץ מטפל בצמד שפות מוגדר מראש, למשל ערבית מול אנגלית או ערבית מול גרמנית.
מבחינת משאבים, מדובר בהיקף של בין עשרת אלפים למאה אלף רשומות, כך שההורדה קלה ומהירה ולא דורשת נפח אחסון חריג או חומרה כבדה. השדות העיקריים שמעניינים אתכם הם פשוט צמדי הטקסטים המתורגמים בכל שורה עבור השפות שבחרתם לשלוף.
from datasets import load_dataset
ds = load_dataset("Helsinki-NLP/news_commentary")הרישיון
הרישיון של המאגר מוגדר כלא ידוע. המשמעות בפועל פשוטה ולא נוחה: אין אישור רשמי להשתמש בנתונים האלה לפרויקט מסחרי, ואי אפשר לדעת אילו זכויות יוצרים חלות על הטקסטים שנאספו. לחברות שמפתחות מוצר רווחי עדיף להתרחק, כי הסיכון המשפטי נופל כולו עליכם, והשימוש מתאים בעיקר למחקר פנימי או בדיקות נקודתיות.