Weblate-Translations
קוד פתוחayymenother2024-01-07
המאגר מרכז תרגומים מקבילים מפלטפורמת Weblate לטובת אימון מודלי שפה ותרגום מכונה. הוא מספק כיסוי רחב במיוחד לצמדי שפות נדירים, אך מגיע עם שמות קבצים כאוטיים וללא תיעוד.
- 2,622הורדות בחודש
- 21לייקים
מה זה
המאגר כולל בין מיליון לעשרה מיליון רשומות טקסט המיועדות למשימות תרגום ויצירת טקסט. הנתונים מחולקים על פני 1,482 קבצים בפורמט TSV, כאשר כל קובץ מייצג קונפיגורציה של צמד שפות מסוים. מרבית הצמדים מתבססים על אנגלית כשפת מקור מול שפות יעד מגוונות, החל משפות מרכזיות כמו גרמנית, צרפתית וספרדית, ועד לשפות נדירות ודיאלקטים אזוריים כדוגמת ברטונית, טיגריניה, פריזית ויוונית.
מקור החומר הוא פלטפורמת הלוקליזציה Weblate, שבה מתנדבים וצוותים מתרגמים ממשקי תוכנה, יישומים ומסמכים. כרטיס הדאטהסט אינו מציין תהליכי סינון, ניקוי רעשים, הסרת כפילויות או בקרת איכות שבוצעו על הטקסט. שמות הקונפיגורציות חושפים חלוקה מבוזרת ולא אחידה, הכוללת קבצים לפי דיאלקטים ספציפיים, קבצים ייעודיים להודעות מערכת, וגרסאות פיתוח שונות.
מתאים ל
- אימון תרגום לשפות נדירות
אימון ובדיקה של מודלי תרגום עבור שפות שאין להן כמעט דאטה מקביל זמין ברשת.
- לוקליזציה של תוכנה
התאמת מודלים קיימים לתרגום מחרוזות ממשק, כפתורים והודעות מערכת באפליקציות.
- הערכת עמידות לרעש
בדיקת ביצועי מודלי תרגום מול טקסט גולמי הכולל משתני תוכנה וקידוד לא אחיד.
איפה זה נופל
הבעיה המרכזית כאן היא היעדר מוחלט של תיעוד לגבי תהליך הדגימה והסינון. שמות הקבצים מעידים על בלגן: יש כפילויות של אותם צמדי שפות עם קודים שונים, קבצים עם שמות מוזרים כמו en@uwu או גרסאות rude, וערבוב של שפות מקור. הטקסטים מגיעים מלוקליזציית תוכנה, ולכן מכילים קטעי ממשק קצרים, משתנים ומחרוזות קוד שאינם מייצגים שפה טבעית רציפה. יש לבצע סינון קפדני של רעשים ותווים מיוחדים לפני כל שימוש.
שאלות
נפוצות
האם יש במאגר עברית?
כן, קיימים מספר קבצים הרלוונטיים לעברית, ביניהם en_US-he_IL, en_US-he-IL, en-iw_HE ו־en_GB-he. הפיזור הזה ממחיש את חוסר האחידות בשמות הקבצים, ולכן תצטרכו לאחד ידנית את כל הקבצים הללו כדי לקבל את מלוא החומר.
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ להשתמש בו למוצר מסחרי. הרישיון מסומן כ־other ואין פירוט לגבי הזכויות של יוצרי התרגומים המקוריים ב־Weblate. שימוש מסחרי במצב כזה חושף אתכם לסיכון משפטי של הפרת זכויות יוצרים.
האם הטקסטים מתאימים לאימון מודל שיחה כללי?
לא, הנתונים אינם מתאימים לכך. הטקסטים נלקחו מממשקי תוכנה וכוללים בעיקר תוויות כפתורים, שגיאות מערכת ומחרוזות תוכנה קצרות. ניסיון ללמד מודל לנהל שיחה זורמת על בסיס נתונים כאלה יפיק תוצאות קטועות ולא טבעיות.
איך טוענים
טעינת הנתונים נעשית דרך ספריית datasets על ידי ציון שם המאגר והקונפיגורציה המבוקשת, המייצגת את צמד השפות הרצוי. ברירת המחדל היא הקובץ en-zgh. הגישה למאגר פתוחה לחלוטין ואינה דורשת אישור מוקדם או מפתח גישה. הנתונים מאוחסנים בפורמט TSV, לכן מומלץ לבדוק את מבנה העמודות המדויק בכל קובץ לפני תחילת האימון. עקב מספר הקבצים הגדול, טעינה של כלל המאגר בבת אחת עלולה לצרוך זמן רב ומשאבי זיכרון כבדים, ולכן מומלץ לעבוד ישירות מול צמדי השפות הרלוונטיים עבורכם בלבד.
from datasets import load_dataset
ds = load_dataset("ayymen/Weblate-Translations")הרישיון
המאגר מוגדר תחת רישיון other, והיוצר לא צירף פירוט של תנאי השימוש. היות שהתרגומים נמשכו ממאגרים שונים בתוך Weblate, ייתכן שכל פרויקט מקורי מחזיק ברישיון שונה, מחופשי לחלוטין ועד מוגבל. ללא הבהרה משפטית, אימון מודל מסחרי עלול לחשוף אתכם להפרת זכויות יוצרים, ולכן המאגר מתאים בשלב זה למחקר אקדמי בלבד.