Pontoon-Translations
קוד פתוחayymenmpl-2.02023-12-03
מחרוזות ממשק מפרויקטים של מוזילה שתורגמו ליותר ממאתיים שפות מאנגלית. זה מקור טוב אם אתם מחפשים תרגומים טכניים מדויקים שנכתבו על ידי קהילת מתנדבים.
- 1,481הורדות בחודש
- 19לייקים
מה זה
המאגר כולל זוגות משפטים של אנגלית מול שפות יעד, שמקורם בפלטפורמת הלוקליזציה Pontoon של Mozilla. הטקסטים מגיעים ישירות מממשקי תוכנה, הגדרות, תפריטים ואתרי עזר של פרויקטי מוזילה השונים, והתרגומים בוצעו על ידי המשתמשים והמתרגמים של הפלטפורמה.
היוצר ביצע סינון בסיסי לפני הפרסום. שורות עם ערכים חסרים או ריקים נמחקו, צמדי מילים זהים לחלוטין הוסרו, ומחרוזות מקור באנגלית שלא הכילו אותיות בכלל נזרקו החוצה. בנוסף בוצע ניקוי של רווחים מיותרים בתחילת ובסוף שורות, ונמחקו כפילויות של רשומות זהות. המידע מסודר בקובצי TSV נפרדים לפי שפות, ללא חלוקה מוגדרת מראש לסט אימון או בדיקה.
מתאים ל
- תרגום ממשקי משתמש
אימון מודלים לתרגום מדויק של כפתורים, תפריטים והודעות שגיאה בתוכנה.
- זיהוי שפות
אימון מסווגים לזיהוי שפה על פני מגוון רחב של מעל 200 שפות שונות.
- בניית מילוני מונחים
חילוץ מונחים טכנולוגיים באנגלית ותרגומם המקובל בשפות יעד נדירות.
איפה זה נופל
זה לא מאגר לשיחה חופשית ולא לספרות. הטקסטים מוגבלים מאוד לעולמות של דפדפנים, תוכנה, אבטחה והגדרות מערכת, כך שהשפה תמציתית, טכנית ומקוטעת. הכרטיס לא מציין תאריכי חיתוך, כך שאין לדעת מאילו גרסאות של מוזילה נלקחו הנתונים או עד כמה הם עדכניים. בנוסף, חסר בכרטיס פירוט מלא על איכות הבקרה של המתרגמים, והרשימה המלאה של 200 השפות לא מתועדת כולה במטא-דאטה מעבר לקבצים עצמם.
שאלות
נפוצות
האם המאגר כולל עברית?
הכרטיס הראשי מונה חלק קטן מהשפות כמו ערבית, אפריקאנס ואמהרית, ומציין שיש מעל 200 שפות ב־248 קבצים. פרויקטי מוזילה מתורגמים לעברית דרך Pontoon, אך כדאי לבדוק בקבצי המאגר אם קיים קובץ en-he.tsv ייעודי.
מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
כן, רישיון MPL-2.0 מאפשר שימוש מסחרי. החובה המרכזית היא מתן קרדיט, ושמירה על הרישיון אם אתם מפיצים מחדש את קובצי הנתונים עצמם עם שינויים.
איך הנתונים נאספו?
הנתונים נמשכו ישירות מפלטפורמת התרגום Pontoon שבה מתנדבים מתרגמים את מוצרי Mozilla. היוצר ניקה שורות ריקות, רווחים מיותרים, כפילויות ומחרוזות מקור ללא אותיות באנגלית.
מה שונה בין המאגר הזה למאגרי תרגום מקבילים?
רוב מאגרי התרגום ברשת מגיעים מחדשות, ויקיפדיה או פרוטוקולים של פרלמנטים. המאגר הזה מכיל אך ורק מחרוזות של ממשקי תוכנה, ולכן מתאים במיוחד לפיתוח ותרגום מוצרי תוכנה ולא לשיחות כלליות.
איך טוענים
טוענים את המאגר ישירות בספריית datasets עם הפקודה load_dataset על השם ayymen/Pontoon-Translations. יש נקודה טכנית קריטית שהיוצר מציין: חייבים להעביר את הפרמטר keep_default_na כ־False. בלי זה, מחרוזות ממשק לגיטימיות שמכילות מילים כמו None או N/A יפורשו בטעות כערכים חסרים ויימחקו. המאגר מורכב מ־248 קבצים בפורמט TSV, פתוח לגישה ישירה בלי צורך באישור, וכולל זוגות של שפת מקור מול שפת יעד.
from datasets import load_dataset
ds = load_dataset("ayymen/Pontoon-Translations")הרישיון
הרישיון המדווח הוא MPL-2.0, בהתאם לתנאי השימוש של פלטפורמת Pontoon של מוזילה. מותר להשתמש בנתונים לצרכים מסחריים, אבל הרישיון דורש ייחוס, ואם משנים ומפיצים את קובצי המקור עצמם, חובה לשחרר את השינויים תחת אותו רישיון. לגבי משקלי מודל שאומנו על המידע, בדרך כלל אין חובה לפתוח את המודל עצמו כקוד פתוח, אך מומלץ לוודא את הפרשנות המשפטית שלכם מול תנאי הרישיון של מוזילה.