bible_para

מה זה

המאגר כולל בין עשרת אלפים למאה אלף רשומות מקבילות של פסוקים וקטעי תרגום. המקור מבוסס על פרויקט bible-uedin מאתר OPUS, שמחזיק תרגומים מרובי שפות של ספרי הקודש, ומקושר למאמר אקדמי שפורסם בכתב העת של ספרינגר בקישור שמופיע בתיעוד.

בכרטיס עצמו אין פירוט של הדוגמאות, מבנה השדות, חלוקת הנתונים לקבוצות אימון או מבחן, ואין הסבר על תהליך הסינון והנרמול שעברו הטקסטים. לפי המידע המצורף, רשומות שפות כמו ערבית, אמהרית, בולגרית ושפות ילידיות שונות מופיעות שם, אך הרשימה המלאה נשענת על דף הבית החיצוני של הפרויקט.

מתאים ל

• אימון תרגום לשפות נדירות

  תרגום מכונה בין שפות עם מעט דאטה ברשת, שבהן תרגומי תנ"ך הם המקור המקביל היחיד.

• מחקר בלשנות חישובית

  השוואת מבנים תחביריים וסמנטיים על פני טקסט זהה שתורגם לעשרות שפות שונות.

• הערכת מודלים לשפה ישנה

  בדיקת יכולת המודל להתמודד עם שפה עתיקה, אוצר מילים מקראי וסגנון ספרותי.

איפה זה נופל

הכרטיס ריק כמעט לחלוטין ולא מציין הטיות ידועות, מגבלות תוכן או סינון שבוצע. מדובר בטקסטים דתיים קלאסיים, כך שהשפה ארכאית מאוד ולא משקפת דיבור יומיומי, סלנג מודרני או שפה טכנית. אי אפשר לבנות על זה מודל שיחה כללי בלי להיתקל בסגנון מקראי חריג. בנוסף, חוסר התיעוד לגבי חלוקות רשמיות מחייב אתכם לבנות ספליטים לבד ולוודא ידנית שהשפות שאתם צריכים אכן מיושרות היטב.

איך טוענים

טוענים את הנתונים דרך ספריית datasets באמצעות סקריפט הטעינה bible_para.py שנמצא במאגר, ואין צורך בבקשת אישור גישה מראש. ההגדרה דורשת לציין שני קודי שפה בצורה ידנית בעת הטעינה, לדוגמה lang1 ו־lang2, לפי רשימת הזוגות הזמינים באתר החיצוני של OPUS. גודל הקבצים קטן וכולל שלושה קבצים בלבד במאגר, אך הכרטיס אינו מפרט את שמות השדות שמוחזרים בפועל.

from datasets import load_dataset

ds = load_dataset("Helsinki-NLP/bible_para")

הרישיון

הרישיון המדווח במאגר הוא cc0-1.0, שמשמעותו נחלת הכלל. מותר להשתמש בטקסטים לכל מטרה, כולל אימון מודלים מסחריים ומחקר, ללא חובת ייחוס וללא דרישה לשתף תוצרים באותו רישיון. למרות זאת, כרטיס הדאטהסט מציין תחת סעיף הרישיון שחסר מידע, ולכן כדאי לבדוק את התנאים באתר המקורי של OPUS לפני הפצה מסחרית.

הרישיון המלא ב־Hugging Face ↗