alt
קוד פתוחmutiyamacc-by-4.02022-03-02
קורפוס מקבילי ועצי גזירה לתרגום ולניתוח תחבירי ב־13 שפות, בעיקר מדרום-מזרח אסיה. הבסיס הוא כ־20,000 משפטים מחדשות ויקי באנגלית שתורגמו ונותחו בידי מומחים.
- 742הורדות בחודש
- 21לייקים
מה זה
הנתונים נשענים על מדגם של כ־20,000 משפטים שנלקחו ממהדורת ויקיחדשות באנגלית בשנת 2014. צוותי מחקר ומומחי בלשנות מכמה מוסדות אקדמיים וממשלתיים באסיה תרגמו את המשפטים האלה לשפות יעד שונות, בהן יפנית, הינדי, וייטנאמית, תאית וקמבודית, והוסיפו עצי גזירה תחביריים לצד חלוקה לרכיבים תחביריים.
המבנה של המאגר מחולק לקורפוס מקבילי רב-לשוני, לעצי גזירה תחביריים, ולמערך תעתיק ספציפי עבור שפת מיאנמר. החלוקה הסטנדרטית למודלים כוללת 18,088 משפטים לאימון מתוך 1,698 כתבות מקור, 1,000 משפטים לולידציה מתוך 98 כתבות, ועוד 1,018 משפטי מבחן מתוך 97 כתבות.
מתאים ל
- אימון מודלי תרגום אסייתיים
פיין טונינג של מודלי תרגום בין אנגלית לשפות מזרח ודרום מזרח אסיה על גבי טקסט חדשותי מפוקח.
- בנצ'מרק להערכת תרגום מכונה
בדיקת איכות של מודלים רב-לשוניים באמצעות 1,018 משפטי מבחן מקבילים שמתורגמים ל־13 שפות שונות.
- ניתוח תחבירי מבוסס עצים
אימון והערכה של כלים לניתוח תחבירי וחלוקת משפטים על פי עצי גזירה שנבדקו על ידי בלשנים.
איפה זה נופל
עברית לא קיימת כאן בכלל, כך שלמי שמחפש פתרון מקומי אין מה לעשות איתו. המקור מבוסס לחלוטין על כתיבה חדשותית משנת 2014, מה שאומר שהסגנון מוגבל לטקסט פורמלי, דיווחי ומיושן יחסית, ולא מייצג שיחות יומיומיות או סלנג מודרני. בנוסף, הכרטיס לא מפרט כיצד סוננו הנתונים או מהן ההטיות הקיימות, וכ־20,000 משפטים הם נפח קטן מאוד לאימון מודל שפה מאפס, כך שהדאטהסט מתאים בעיקר להערכה או לפיין-טונינג צר.
שאלות
נפוצות
האם יש במאגר הזה תמיכה בעברית?
לא. המאגר מתמקד אך ורק בשפות של מזרח אסיה, דרום מזרח אסיה והודו, לצד אנגלית. עברית אינה חלק מהפרויקט.
האם מותר להשתמש בדאטהסט הזה למטרות מסחריות?
כן. הרישיון הוא CC BY 4.0 שמתיר שימוש מסחרי מלא, כולל אימון מודלים המיועדים למוצרים מסחריים. התנאי היחיד הוא לתת ייחוס וקרדיט לחוקרים ולמוסדות שיצרו את הקורפוס.
איך נאספו ותורגמו המשפטים?
צוות הפרויקט דגם כ־20,000 משפטים מתוך ויקיחדשות באנגלית בשנת 2014. משם, מומחי בלשנות ממכוני מחקר ואוניברסיטאות ביפן, מיאנמר, אינדונזיה, סינגפור, וייטנאם וקמבודיה תרגמו את הטקסטים והוסיפו את הניתוחים התחביריים.
האם המאגר גדול מספיק כדי לאמן עליו מודל מאפס?
לא, הוא קטן מדי לזה. יש בו בסך הכל כ־20,000 משפטים שמתוכם 18,088 מיועדים לאימון. הוא שווה בעיקר כבנצ'מרק להערכה או כתוספת קטנה של דאטה איכותי ומפוקח.
איך טוענים
הטעינה נעשית דרך ספריית הנתונים המקובלת על ידי מזהה המאגר mutiyama/alt. הקבצים שמורים בפורמט Parquet בחלוקה לפי שפות ותפקידים, ואין צורך בהרשאת גישה מיוחדת או באישור ידני. השדות העיקריים שצריך לשים לב אליהם הם מזהה הכתבה והמשפט, קישור המקור, שדות הטקסט של השפות השונות, ובחלק של הניתוח התחבירי, שדה הסטטוס שמציין אם הניתוח עבר בודק אחד בלבד או שניים.
from datasets import load_dataset
ds = load_dataset("mutiyama/alt")הרישיון
המאגר מופץ תחת רישיון Creative Commons Attribution 4.0 International. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה, ומותר לאמן עליו מודלים ללא דרישה לשתף את התוצר באותו רישיון. החובה היחידה היא מתן קרדיט מתאים ליוצרים ולמוסדות שפיתחו את הקורפוס בהתאם להנחיות הציטוט.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס