flores200
קוד פתוחMuennighoffcc-by-sa-4.02022-07-17
מאגר משפטים מקבילים לתרגום מכונה שמכסה 200 שפות, כולל שפות דלות משאבים. הוא מיועד בעיקר להערכת מודלים באמצעות תרגומים מקצועיים של טקסטים מחדשות ברשת.
- 2,090הורדות בחודש
- 23לייקים
מה זה
המאגר מכיל 3,001 משפטים שנלקחו מתוך 842 מאמרי רשת, כאשר אורך משפט ממוצע עומד על כעשרים ואחת מילים. הטקסטים תורגמו במקור לא רק מאנגלית, אלא במקרים מסוימים גם מספרדית, צרפתית, רוסית וערבית תקנית מודרנית, תוך שימוש באנשי מקצוע עקב מורכבות השפות. עבור ארבע שפות נכללו שתי מערכות כתב שונות.
המשפטים מקבילים לחלוטין בין כל השפות הזמינות ומגיעים ללא עיבוד מקדים או טוקניזציה. המבנה מחולק לשני חלקים גלויים: חלק הפיתוח הכולל 997 משפטים, וחלק הבדיקה לפיתוח הכולל 1,012 משפטים, בעוד שחלק המבחן הסופי נותר מוסתר לצורכי תחרויות. כל רשומה כוללת את מזהה השורה, הטקסט המתורגם, כתובת המקור ברשת, תחום התוכן, הנושא, וציון האם המקור כלל תמונה או קישור.
מתאים ל
- בנצ'מרק להערכת תרגום
מדידת איכות של מודלי תרגום מכונה על גבי סט משפטים אחיד ומקביל בעשרות שפות נדירות.
- בדיקת ייצוגים רב לשוניים
בחינת יכולת ההתאמה של מודלי שפה בין שפות מקור שונות לטקסט מקביל זהה.
- כיול מודלים קיימים
כוונון עדין למודלי תרגום באמצעות דוגמאות בודדות של תרגום אנושי מקצועי.
איפה זה נופל
זהו מאגר קטן מאוד שכולל כאלפיים משפטים זמינים בלבד בכל שפה, ולכן אינו מתאים לאימון מודלים מאפס אלא רק להערכה או כוונון עדין נקודתי. מקור הטקסטים הוא מאמרי חדשות מהרשת, בעיקר מאתרים כמו ויקיחדשות, מה שמייצר הטיה ברורה לתחומים כמו בריאות ופוליטיקה וסגנון עיתונאי רשמי. לא תמצאו כאן שפה מדוברת, סלנג, או טקסטים טכניים מורכבים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון מתיר שימוש מסחרי, אך דורש מתן קרדיט והפצה תחת רישיון זהה לכל תוצר נגזר. אם המודל שלכם נחשב נגזרת של הדאטהסט, ייתכן שתצטרכו לשחרר אותו תחת אותו רישיון פתוח.
האם המאגר כולל עברית?
הכרטיס הספציפי בדף מפרט רשימת שפות שמתחילה באות איי בלבד ומפנה לתיעוד המלא של 200 השפות בפרויקט המקורי. יש לוודא תמיכה בקוד השפה הרלוונטי במאגר הגיטהאב לפני תחילת העבודה.
האם הדאטהסט מתאים לאימון מלא של מודל תרגום?
לא. מדובר בכאלפיים משפטים זמינים בסך הכל בכל שפה, כמות שמספיקה רק למבחני ביצועים והערכה ולא לאימון מודל עבודה רחב.
מאיפה הגיעו הטקסטים ואיך הם תורגמו?
המשפטים נדגמו מתוך 842 מאמרי רשת באנגלית, רוסית, צרפתית, ספרדית וערבית. לאחר מכן הם תורגמו לכל שאר השפות על ידי מתרגמים מקצועיים ועברו תהליכי אימות ייעודיים.
איך טוענים
טוענים את הנתונים דרך ספריית הדאטהסטים באמצעות סקריפט הפייתון המובנה במאגר. אפשר לטעון שפה בודדת לפי קוד השפה והכתב שלה, צמד שפות ספציפי בתצורת מקור ויעד, או את כל השפות יחד תחת תצורת הכל. אין צורך באישור גישה מקדים, והשדות העיקריים שמעניינים אתכם הם שדות המשפטים והמזהה שקושר ביניהם.
from datasets import load_dataset
ds = load_dataset("Muennighoff/flores200")הרישיון
הרישיון הוא סיסי ביי אס איי 4.0. מותר להשתמש בנתונים למטרות מסחריות, אך חובה לתת קרדיט ליוצרים המקוריים של פייסבוק וצוות המחקר. אם אתם משנים, מעבדים או בונים יצירה נגזרת ישירות על בסיס הנתונים, אתם מחויבים להפיץ את התוצאה תחת אותו רישיון בדיוק, מה שעלול להגביל שחרור של מוצרים מסחריים סגורים.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון