Aksharantar
קוד פתוחai4bharatcc2022-05-06
עשרים וששה מיליון זוגות מילים לתעתוק בין עשרים שפות הודיות לאותיות לטיניות באנגלית. המאגר מתאים למי שבונה מודלים לתעתוק שמות או מונחים מתת היבשת ההודית.
- 982הורדות בחודש
- 25לייקים
מה זה
המאגר מכיל זוגות של מילה בשפה הודית ומקבילתה המתועתקת באותיות לטיניות. כל רשומה כוללת מזהה ייחודי שמורכב מקוד השפה ומספר רץ, המילה במקור, התעתיק האנגלי, מקור הנתונים וציון הסתברות שחושב על ידי מודל הסינון IndicXlit ברמת התו. הסינון שמר רק זוגות שקיבלו ציון עם סף ממוצע של 0.35 ומעלה.
המקורות מגוונים וכוללים נתונים שנכרו מתוך IndicCorp ומאגר Samanantar, דגימות שמות ישויות מהודו ומחוצה לה, מידע מתוך ויקינתונים, ומאגרים קיימים כמו Dakshina. הנתונים נחלקים לפי עשרים שפות שונות, וכוללים חלוקה מוגדרת מראש לאימון, תיקוף ובדיקה לכל שפה.
מתאים ל
- אימון מנועי תעתוק
בניית מודלי רצף לרצף להמרת שמות וכתובות מהודו לכתב לטיני.
- נרמול שמות משתמש
זיהוי ואיחוד שמות שנכתבו באנגלית מול כתיב מקורי באפליקציות.
- מבחני דיוק לתעתוק
שימוש בערכות הבדיקה המוכנות להשוואת ביצועים מול שפות הינדיות.
איפה זה נופל
הכרטיס מציג פערים קיצוניים בכמויות המידע בין השפות השונות. מליאלאם כוללת מעל ארבעה מיליון זוגות באימון, בזמן שמניפורית מכילה רק עשרת אלפים וסינדהי בכלל חסרת קובץ בדיקה. בנוסף, חלק גדול מהתעתיקים הופק או סונן באמצעות מודל ייעודי עם סף הסתברות, כך ששגיאות מודל בהכרח זלגו פנימה. הכרטיס גם משאיר את רוב פרטי הניקוי, ההטיות והמידע האישי ללא פירוט ומפנה למאמר המקורי, כך שחובה לבדוק מדגמית את איכות השמות לפני שילוב במערכת ייצור.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, המידע משוחרר ברישיונות מתירניים. הנתונים הידניים מפורסמים תחת רישיון CC-BY שדורש מתן קרדיט בלבד, ושאר הנתונים שנכרו שוחררו תחת רישיון CC0 שאינו כולל מגבלות שימוש.
האם המאגר כולל עברית?
לא. המאגר מיועד אך ורק לתעתוק בין עשרים שפות הודיות לאותיות לטיניות באנגלית ואינו כולל שפות שמיות או תמיכה בעברית.
איך המידע נאסף וסונן?
הנתונים נאספו משילוב של איסוף ידני, כרייה ממאגרים כמו IndicCorp ו־Samanantar, ומידע מוויקינתונים. לאחר מכן הופעל מודל IndicXlit לחישוב ציון הסתברות של התעתיק, וזוגות מתחת לסף ממוצע של 0.35 נמחקו.
האם יש חלוקה אחידה בין השפות במאגר?
ממש לא. יש שפות עם מיליוני דוגמאות אימון כמו קנאדה, מליאלאם וטמילית, לצד שפות דלות משאבים כמו בודו או מניפורית עם אלפים בודדים, ובשפת סינדהי אין כלל דוגמאות בערכת הבדיקה.
איך טוענים
המאגר זמין להורדה ישירה ללא צורך באישור גישה או הרשמה מיוחדת, ומחולק לעשרים ושלושה קבצים, ביניהם קובצי zip נפרדים לכל שפה. בתוך הקבצים המידע מאורגן לפי שפות וחלוקות אימון, תיקוף ומבחן. בעבודה השוטפת תצטרכו לחלץ את הקבצים ולעבוד ישירות מול שדות המילים והמקור. כדאי לשים לב לשדה הציון אם תרצו להחמיר את הסינון של הנתונים מעבר לסף שנקבע במקור.
from datasets import load_dataset
ds = load_dataset("ai4bharat/Aksharantar")הרישיון
הרישיון מחולק לפי מקור המידע בתוך המאגר. החלקים שנאספו ידנית מוגדרים תחת רישיון CC-BY שדורש ייחוס בלבד. החלקים שנכרו מתוך IndicCorp ו־Samanantar יחד עם מקורות קיימים אחרים שוחררו תחת CC0 כנחלת הכלל ללא זכויות שמורות. המשמעות היא שמותר להשתמש בנתונים למטרות מסחריות ולאמן עליהם מודלים ללא דרישה לשיתוף זהה, אך כדאי לתת קרדיט ליוצרים.