101_billion_arabic_words_dataset

מה זה

המאגר מכיל מעל מאה מיליארד מילים בערבית שמקורן בדפי אינטרנט ציבוריים, בעיקר מתוך Common Crawl. הצוות חילץ את התוכן מקובצי WET באמצעות כלי ייעודי שנכתב ברוסט, והעביר את החומר תהליכי ניקוי טקסט והסרת כפילויות לפני הפרסום. החומר מחולק על פני מאות קבצים ולא מופרד מראש לחלוקות אימון או בדיקה מסורתיות.

מבחינת השפה, יש כאן עירוב של ערבית ספרותית מודרנית יחד עם להגים מדוברים שונים, ללא תיוג שמפריד ביניהם. כל רשומה כוללת את גוף הטקסט עצמו, חותמת זמן של התאריך, ומזהה ייחודי. המטרה העיקרית של היוצרים הייתה לייצר בסיס נתונים רחב מספיק לצמצום הפער הקיים במשאבי שפה פתוחים עבור השפה הערבית.

מתאים ל

• אימון מקדים של מודלי שפה

  הזנת כמויות גדולות של טקסט גולמי בערבית למודל בסיס בשלב האימון הראשוני.

• כוונון עדין למשימות יצירה

  התאמת מודלים קיימים ליצירת תוכן שוטף בערבית ספרותית ולהגים נפוצים.

• מחקר בלשני על טקסט רשת

  ניתוח תפוצה של מבנים דקדוקיים ושילוב להגים במרחב האינטרנטי הערבי.

איפה זה נופל

מכיוון שהטקסט מגיע ישירות מסריקת אתרים, הוא מכיל את כל ההטיות, הרעשים והטעויות הנפוצים ברשת הפתוחה. המאגר אינו מתאים למי שזקוק להבנה מדויקת של ניואנסים תרבותיים או להגים ספציפיים בלי עיבוד וסינון נוסף מצדכם. כמו כן, אין כאן מידע אישי או רגיש שמסומן מראש, ונדרשת בדיקה קפדנית של התוכן לפני שמשלבים אותו במוצר שמייצר טקסט למשתמשי קצה.

איך טוענים

המאגר מחולק ל־481 קובצי jsonl ואינו דורש אישור גישה מיוחד כדי להוריד אותו. כל שורה מכילה מפתחות עבור text, date ו־uuid. קחו בחשבון שמדובר בהיקף עצום של מאה מיליארד מילים, כך שמומלץ לעבוד בהזרמה ישירה ולא לנסות לטעון הכל לזיכרון המקומי בבת אחת.

from datasets import load_dataset

ds = load_dataset("ClusterlabAi/101_billion_arabic_words_dataset")

הרישיון

המאגר משוחרר תחת רישיון apache-2.0, מה שמתיר שימוש מסחרי, שינוי והפצה של הנתונים ושל מודלים שאומנו עליהם. התנאי המרכזי הוא מתן קרדיט ושמירה על הודעת הרישיון המקורית, ללא חובה לשתף את התוצרים באותו הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗