quran

מה זה

כל רשומה מייצגת פסוק בודד ומכילה מעל 126 עמודות. החלק הראשון כולל נתונים מבניים כמו מספר הסורה והפסוק, שמות בערבית ובאנגלית, סיווג למכה או מדינה, סדר ההתגלות ומספר הרוקו. לצד זה מופיע הטקסט המקורי בחמישה נוסחים שונים, מכתב עות'מאני מסורתי ועד גרסה נקייה לחלוטין מניקוד וסימנים שנוחה לעיבוד שפה טבעית.

שאר העמודות מוקדשות לתרגומים בלמעלה מ־43 שפות, כולל מספר גרסאות שונות לאותה שפה לפי שמות המתרגמים, כמו עשרות תרגומים באנגלית ובפרסית לצד פרשנויות בערבית. הנתונים מתבססים בחלקם על Tanzil. תהליך הסינון של היוצר כלל ניקוי רווחים מיותרים, הסרת תווי יוניקוד ישנים או לא בשימוש ותיקון מפרידי צינור שגויים. כל המידע יושב בפיצול יחיד של אימון.

מתאים ל

• אימון מודלי תרגום

  השוואת פסוקים מקבילים בין ערבית לבין עשרות שפות שונות ברמת הפסוק הבודד.

• מנועי חיפוש ואחזור

  שימוש בעמודת הטקסט הנקי מניקוד לבניית אינדקסים וחיפוש טקסטואלי מהיר.

• יצירת אמבדינגס לטקסט דתי

  הפקת וקטורים מייצגים מטקסט עם ניקוד מינימלי עבור משימות סיווג ודמיון סמנטי.

איפה זה נופל

הטקסטים מייצגים תוכן קאנוני דתי עתיק ותרגומים היסטוריים, כך שהשפה אינה משקפת ערבית מדוברת או שיח יומיומי מודרני. עברית אינה נכללת ברשימת התרגומים הקיימת במאגר. בנוסף, בחלק מהתרגומים, כמו ביפנית ובקוריאנית, זהות המתרגם מוגדרת כלא ידועה, מה שמקשה על בדיקת מקוריות. תוספות מתוכננות כמו פרשנויות רחבות יותר ומיפוי אונטולוגי חסרות כרגע ומופיעות רק ברשימת המשימות הפתוחה של היוצר.

איך טוענים

טוענים את המאגר ישירות עם ספריית datasets בפקודה load_dataset("nazimali/quran", split="train"). אין צורך בהרשאות גישה או בטוקן, והמאגר פתוח להורדה מיידית. הנתונים שמורים בפורמט Parquet שמחולק לכ־173 קבצים נפרדים בתוך התיקייה. בגלל ריבוי העמודות, כדאי לבחור מראש רק את העמודות הרלוונטיות לעבודה שלכם, למשל סוג הטקסט הערבי הנדרש או קודי השפה הספציפיים, כדי לא להעמיס על הזיכרון.

from datasets import load_dataset

ds = load_dataset("nazimali/quran")

הרישיון

המאגר מופץ תחת רישיון cc-by-3.0. מותר להשתמש בו לצרכים אישיים ומסחריים, לשנות אותו ולבנות עליו מוצרים ומודלים, בתנאי שנותנים קרדיט מתאים ליוצר. אין דרישה לשתף את התוצרים באותו רישיון.

הרישיון המלא ב־Hugging Face ↗