cantonese-mandarin-translations

מה זה

המאגר מכיל זוגות של משפטים מקבילים. המקור מבוסס על טקסטים בקנטונזית שנלקחו משני מקורות קיימים, קורפוס HKCancor וטקסטים מתוך Common Voice 7.0 של מוזילה עבור הונג קונג. היוצרים איחדו את הטקסטים האלה והריצו אותם דרך שירות התרגום של מיקרוסופט כדי לייצר את המקבילה בסינית מנדרינית מפושטת.

המבנה פשוט מאוד. אין כאן חלוקה מובנית לסטים של אימון, בדיקה או ולידציה, אלא קובץ יחיד שמרכז את כל הדוגמאות יחד. היוצרים ציינו שסקריפטים לנרמול הנתונים יתווספו בהמשך, אך נכון לפרסום המאגר הנתונים מוצגים ישירות לאחר העיבוד הראשוני והתרגום האוטומטי.

מתאים ל

• אימון מודלי תרגום

  כוונון מודלי שפה לתרגום מקנטונזית לסינית מנדרינית מפושטת לצורכי מחקר בלבד.

• מחקר בלשני חישובי

  ניתוח הבדלים תחביריים ומבניים בין קנטונזית לבין סינית כתובה מפושטת.

• בדיקת איכות תרגום מכונה

  הערכת שגיאות נפוצות שנוצרות בתרגום אוטומטי בין ניבים סיניים קרובים.

איפה זה נופל

הבעיה המרכזית כאן ברורה, התרגום נוצר במלואו על ידי מכונה ולא עבר בדיקה או עריכה אנושית. המפרסמים מודים במפורש שהתוצאה אינה מדויקת במאה אחוז. אם תאמנו מודל ישירות על הנתונים האלה, הוא ילמד וישכפל את כל השגיאות, ההטיות ואי הדיוקים של שירות התרגום של מיקרוסופט. מעבר לזה, המאגר פורסם במרץ 2022 ללא חלוקה מוכנה לביצוע הערכה אמינה, כך שאי אפשר להסתמך עליו כמדד איכות בלי לנקות ולסנן אותו ידנית קודם.

איך טוענים

טוענים את הנתונים ישירות מקובץ train.json, שנשמר בפורמט JSON Lines. אין צורך באישור גישה מיוחד כדי להוריד אותו. המאגר כולל שני שדות מרכזיים בלבד: yue שמכיל את משפט המקור בקנטונזית, ו־zh שמכיל את התרגום לסינית מנדרינית. גודל הקובץ ומספר הרשומות המדויק אינם מפורטים בכרטיס, ותצטרכו לבצע פיצול עצמאי לסטים לפני תחילת העבודה.

from datasets import load_dataset

ds = load_dataset("botisan-ai/cantonese-mandarin-translations")

הרישיון

הרישיון הוא CC BY-NC-SA 4.0. המשמעות פשוטה, אסור להשתמש בנתונים למטרות מסחריות כלל. בנוסף, חובה לתת קרדיט ליוצרים, ואם אתם משנים, מעבדים או בונים מודל שמבוסס ישירות על הנתונים האלה, אתם מחויבים להפיץ אותו תחת אותו הרישיון בדיוק.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗