arabic_billion_words
קוד פתוחabuelkhair-corpusunknown2022-03-02
מאגר ענק של טקסט חדשותי בערבית הכולל יותר מחמישה מיליון כתבות. הוא מיועד למי שרוצה לאמן מודלים שפתיים על טקסט עיתונאי רחב בלי להתחיל לגרד אתרים בעצמו.
- 290הורדות בחודש
- 35לייקים
מה זה
המאגר מבוסס על כתבות חדשותיות מאתרי עיתונות שונים בעולם הערבי, עם למעלה ממיליארד וחצי מילים בסך הכל וכשלושה מיליון מילים ייחודיות. כל רשומה מייצגת כתבה בודדת ומכילה ארבעה שדות פשוטים: כתובת המקור, כותרת הכתבה, תאריך הפרסום וגוף הטקסט המלא.
הנתונים מחולקים לפי מקורות העיתונות השונים, וכוללים תת קבוצות לפי גופי מדיה כמו Youm7 עם יותר ממיליון כתבות, SaudiYoum, Alqabas, Ryiadh ועוד. אין כאן חלוקה מובנית לסטים של אימון, בדיקה או ולידציה, אלא רק פיצול אימון יחיד לכל מקור חדשותי. הכרטיס לא מפרט על תהליכי סינון, ניקוי או נרמול שבוצעו על הטקסט בעת האיסוף.
מתאים ל
- אימון מודלי שפה בערבית
אימון מקדים של מודלי שפה או מודלי מסיכה על היקף רחב של ערבית סטנדרטית.
- יצירת כותרות לכתבות
אימון מודלים של סיכום או ניסוח כותרות באמצעות שדות הטקסט והכותרת.
- סיווג טקסט לפי מקור
זיהוי סגנון כתיבה עיתונאי או שיוך כתבות לעיתון הספציפי שממנו נלקחו.
איפה זה נופל
זה טקסט עיתונאי בלבד, מה שאומר שהשפה היא ערבית סטנדרטית מודרנית ופורמלית ולא להגים מדוברים. המאגר מבוסס על מאמר משנת 2016, כך שהעולם שהוא משקף ישן יחסית ואינו מכסה אירועים או מושגים מהשנים האחרונות. מעבר לכך, הכרטיס ריק לחלוטין ממידע על סינון תוכן רגיש, שמות פרטיים או הטיות פוליטיות של כלי התקשורת שמהם נלקחו הכתבות.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
לא מומלץ בכלל. הרישיון מוגדר כלא ידוע והכרטיס לא מספק שום היתר לשימוש מסחרי. החומרים נאספו מאתרי חדשות ללא תיעוד של הסכמי זכויות יוצרים.
האם המאגר מכיל עברית?
לא. המאגר כולו בערבית ומכיל שפה עיתונאית בלבד.
איך הנתונים נאספו?
הנתונים נאספו מכלי תקשורת ואתרי חדשות ערביים שונים, כגון Youm7 ו Alqabas. כרטיס המאגר לא מפרט מעבר לכך על אופן האיסוף או הסינון.
האם יש חלוקה לסט בדיקה ואימון?
לא, המאגר מספק פיצול אימון יחיד בלבד לכל תת קבוצה. תצטרכו לפצל את הנתונים בעצמכם כדי לבצע הערכה ובדיקה של המודל.
איך טוענים
הטעינה מתבצעת ישירות דרך הספרייה הרגילה בעזרת הסקריפט המצורף arabic_billion_words.py. אין צורך באישור גישה מקדים, המאגר פתוח להורדה. לפני שמתחילים לרוץ כדאי לשים לב שאפשר לטעון תת קבוצות ספציפיות לפי עיתון במקום להוריד את כל המיליונים בבת אחת. השדות המרכזיים לעבודה הם text עבור תוכן הכתבה ו head_line אם רוצים לאמן משימות כותרות או התאמה.
from datasets import load_dataset
ds = load_dataset("abuelkhair-corpus/arabic_billion_words")הרישיון
הרישיון מוגדר כלא ידוע. הכרטיס והמאגר אינם מציינים תנאי שימוש, מה שאומר שאין היתר מפורש לשימוש מסחרי או לאימון מודלים שמיועדים להפצה. מבחינה משפטית, שימוש במאגר כזה במוצר מסחרי כרוך בסיכון גבוה של הפרת זכויות יוצרים של כלי התקשורת המקוריים.