wmt22-comet-da

מה זה

למרות שהוא מתוייג תחת משימת תרגום, הוא לא מתרגם טקסט בעצמו. התפקיד שלו הוא להעריך טיב של תרגומים קיימים. מזינים אליו שלשות של משפט מקור, התרגום שהתקבל, ותרגום ייחוס שנכתב בידי אדם, והוא מחזיר ציון שנע בין 0 ל־1, כש־1 מסמן תרגום מושלם.

הבסיס כאן הוא מודל השפה XLM-R, מה שמאפשר לו להבין משמעות סמנטית ברקע ולא לבצע רק ספירת מילים חופפות. המודל נבנה במקור במסגרת תחרות ההערכה של WMT 2022, והוא מכוון לתת ציון שמייצג הערכת איכות אנושית ישירה.

מתאים ל

• מדידת מודלי תרגום בארגון

  השוואת ביצועים של מודלי שפה שונים מול דאטה-סט בדיקה מתורגם, לקבלת ציון אמין על איכות הפלט.

• סינון תרגומים אוטומטיים

  בדיקת איכות של תרגומים מול רפרנס כדי לזהות מקרים גבוליים שדורשים בדיקה ידנית של מתרגם.

• ולידציה של שינויים במערכת

  מדידה מספרית של נסיגות באיכות התרגום לאחר עדכון גרסה או שינוי בהגדרות המודל.

איפה זה נופל

החיסרון הברור הוא הצורך בתרגום ייחוס אנושי כדי לקבל ציון, מה שהופך אותו ללא רלוונטי לתרחישים של זמן אמת שבהם אין לכם טקסט מוכן להשוואה. בנוסף, הוא נשען על רשימת השפות של XLM-R, והיוצרים מציינים במפורש שכל בדיקה של שפה מחוץ לרשימה הזו תפיק תוצאות לא אמינות.

איך מריצים

הרצה מקומית דורשת התקנה של חבילת unbabel-comet בפייתון. משקל הקבצים עומד על 2.2 ג'יגה-בייט בסך הכול, כך שכרטיס מסך בסיסי עם כמה ג'יגה-בייט של זיכרון יספיק לטעינה ולחישוב אצוות, ואפשר להריץ אותו גם על מעבד רגיל אם לא ממהרים.

אפשר להפעיל אותו דרך ממשק שורת הפקודה comet-score על קובצי טקסט נפרדים, או לטעון אותו לתוך סקריפט פייתון עם פונקציית predict. אין כאן מורכבות של גרסאות שונות, זה צ'קפוינט יחיד שמורידים ומריצים ישירות.

pip install -U huggingface_hub
hf download Unbabel/wmt22-comet-da

הקבצים

5 קבצים במאגר, 2.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• checkpoints/model.ckpt2.3 GB
• LICENSE9.7 KB
• README.md3.4 KB
• .gitattributes1.5 KB
• hparams.yaml567 B

הרישיון

הוא מופץ ברישיון Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, ולהריץ אותו בתוך מוצר ללא תשלום, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗