mafand

מה זה

המאגר מציע צמדי תרגום של משפטי חדשות, בעיקר מאנגלית או צרפתית לשפות אפריקאיות שונות כמו אמהרית, יורובה, סוואהילי ואיגבו. המבנה הוא אובייקט תרגום שמכיל טקסט מקור וטקסט יעד תחת שמות השפות או תחת מפתחות כלליים. הנתונים מתבססים על שיתוף פעולה של קהילת מסחאנה לצד מקורות מוכרים כמו GlobalVoices, מאגר MENYO-20k ופרויקטי תרגום נוספים.

החלוקה הפנימית מוגדרת לפי שפות וכוללת סטים של אימון, פיתוח ומבחן. החלוקה הזו אינה אחידה. עבור שפות מסוימות כמו סוואהילי יש יותר מ־30,000 שורות אימון, בעוד שבשפות אחרות כמו אמהרית, צ'יצ'ווה או שונה אין כלל נתוני אימון אלא רק סטים קטנים לפיתוח ולבדיקה.

מתאים ל

• הערכת מודלי תרגום

  בדיקת ביצועים של מודלי שפה בתרגום חדשות לשפות אפריקאיות דלות משאבים.

• אימון מודלים אקדמיים

  אימון ומחקר על שפות כמו יורובה, סוואהילי ואיגבו בסביבה ללא כוונת רווח.

• מדד השוואתי בחדשות

  שימוש בסט המבחן כבנצ'מרק סטנדרטי להשוואה בין ארכיטקטורות תרגום שונות.

איפה זה נופל

הבעיה המרכזית היא חוסר האיזון הקיצוני. במספר שפות אין בכלל סט אימון, כך שהמאגר יכול לשמש עבורן להערכת ביצועים בלבד. בנוסף, כל הטקסטים מגיעים מעולם החדשות, כך שאוצר המילים מוגבל לאקטואליה ופוליטיקה ולא מייצג שיח יומיומי. מעבר לזה, הכרטיס לא מפרט כיצד סוננו הנתונים, איך טופל מידע אישי ומהן ההטיות המובנות שנכנסו מתהליך התרגום, כך שאי אפשר להסתמך עליו בעיניים עצומות.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets באמצעות פקודת הטעינה mafand.py, תוך ציון צמד השפות המבוקש כמו en-yor. אין צורך לבקש אישור גישה מוקדם או להמתין למפתח. המאגר עצמו קטן, שוקל מעט מאוד ומכיל בסך הכל אלפי רשומות בודדות בכל תת-קובץ. השדה המרכזי שמעניין אתכם הוא שדה התרגום, ממנו מושכים את טקסט המקור והיעד לפי קוד השפה.

from datasets import load_dataset

ds = load_dataset("masakhane/mafand")

הרישיון

הרישיון הוא CC-BY-NC-4.0. המשמעות פשוטה, מותר להשתמש בנתונים למחקר, הערכה ובדיקות פנימיות, אך חל איסור מוחלט על שימוש מסחרי. חובה לתת קרדיט ליוצרים. אם אתם מתכננים לאמן מודל שיוטמע במוצר שמוכר מנויים או מציע שירות בתשלום, המאגר הזה פשוט חסום בפניכם מבחינה משפטית.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗