biblenlp-corpus
קוד פתוחbible-nlpcc-by-4.0,other2022-04-07
המאגר מרכז תרגומים חלקיים ומלאים של ספרי התנך והברית החדשה ב־833 שפות שונות, כשהטקסט כולו מיושר ברמת הפסוק. זה פתרון ממוקד למי שחוקר שפות נדירות או בונה מודלי תרגום מרובי שפות.
- 602הורדות בחודש
- 41לייקים
מה זה
הנתונים מבוססים על קורפוס ebible שמנוהל בגיטהאב ומכיל בין מיליון לעשרה מיליון רשומות טקסט. כל רשומה מייצגת פסוק או מקטע פסוקים מתוך כתבי הקודש, ומגיעה עם מזהה מסודר של שם הספר, הפרק והפסוק, לצד רשימת השפות הזמינות לאותו קטע והתרגומים שלהן בפועל. חלק מהתרגומים מכסים את כל הטקסט המקראי וחלקם מכסים רק ספרים בודדים, בהתאם למה שתורגם לאותה שפה במציאות.
המבנה הפנימי שומר על הצלבה מלאה בין השפות דרך קובץ מראי המקום, כך שפסוק מסוים מקושר ישירות למקבילים שלו בכל שפה קיימת במאגר. בנוסף לטקסט עצמו, כל קובץ מקור נושא פרטי זכויות יוצרים ורישוי ייעודיים. הכרטיס לא מדווח על תהליכי ניקוי, סינון אוטומטי או חלוקה מובנית לסט אימון ובדיקה, והטקסט מוגש כפי שנאסף מהתרגומים המקוריים.
מתאים ל
- תרגום מכונה לשפות דלות משאב
אימון מודלים גנריים על שפות מקומיות ונדירות שאין להן כמעט טקסטים מקבילים אחרים ברשת.
- בדיקת יישור מקבילי בפסוקים
הערכת ביצועים של אלגוריתמי יישור טקסט רב לשוניים על בסיס מראי המקום האחידים במאגר.
- בלשנות חישובית השוואתית
ניתוח תחבירי והשוואת מבנים דקדוקיים על פני מאות שפות שונות שמתארגנות סביב אותו תוכן.
איפה זה נופל
הטקסט ארכאי, דתי וספציפי מאוד לעולם המקראי. לא הייתי משתמש בזה לאימון צ'אטבוט או לתרגום שיחות יומיומיות, כי השפה מליצית לחלוטין ורחוקה מסלנג מודרני. בנוסף, רמת הכיסוי אינה אחידה בין 833 השפות, וקיים פער עצום בין שפות עם תרגום מלא לכאלה עם פרקים ספורים בלבד.
שאלות
נפוצות
האם יש במאגר טקסטים בעברית?
כן, המאגר כולל תיוגים של עברית מקראית תחת הקוד hbo ועברית תחת הקוד heb. הטקסטים האלה מיושרים מול שאר התרגומים ומאפשרים הצלבה ישירה בין שפת המקור לשפות היעד.
האם מותר להשתמש בדאטהסט לאימון מודל מסחרי?
הרישוי הכולל מסומן כ־cc-by-4.0 לצד רישיונות אחרים, מה שאומר שאין תשובה אחידה לכל המאגר. שדות הרישוי וזכויות היוצרים מצורפים לכל קובץ מקור בנפרד, ותצטרכו לסנן את השפות לפי ההיתר הספציפי שלהן לפני האימון.
איך מחברים נכון בין פסוקים בשפות שונות?
הסקריפט מאפשר לבחור בין שליפת פסוקים בודדים לבין שליפת טווחי פסוקים מלאים לפי שדה ref. אם תרגום מסוים איחד כמה פסוקים למשפט אחד, בחירה בטווחי פסוקים תוודא שכל השפות האחרות ייחתכו באותו טווח בדיוק.
מאיפה הנתונים הגיעו והאם הם עברו סינון?
הטקסטים נלקחו מפרויקט ebible שמרכז תרגומי תנך וברית חדשה מרחבי העולם. כרטיס הדאטהסט לא מפרט תהליכי ניקוי או סינון של שגיאות, אלא מספק את הטקסטים כפי שפורסמו במקורות.
איך טוענים
טוענים את הדאטהסט דרך סקריפט הטעינה המקומי biblenlp-corpus.py, שמחייב התקנה מוקדמת של החבילות tqdm, ijson ו־numpy. אין צורך באישור גישה מיוחד. בזמן הקריאה חובה להגדיר את רשימת השפות הרצויות באמצעות קודי ISO 693-3, ולקבוע אם מעוניינים בחילוץ ברמת פסוק בודד או בטווח פסוקים מלא לפי שדה ref.
from datasets import load_dataset
ds = load_dataset("bible-nlp/biblenlp-corpus")הרישיון
המאגר מוגדר תחת שילוב של cc-by-4.0 ורישיונות נוספים. בפועל, כל תרגום וקובץ מגיעים עם תנאים משלהם המפורטים בשדות הייעודיים ברשומה. חלקם מתירים שימוש מסחרי תחת ייחוס, וחלקם כפופים להגבלות אחרות, לכן אסור להניח היתר גורף לאימון מודל מסחרי בלי לבדוק כל שפה בנפרד.