Arabic-Tweets
קוד פתוחpaincc-by-4.02023-04-04
מעל 41 גיגה-בייט של ציוצים בערבית שעברו סינון אגרסיבי, עם קרוב ל־4 מיליארד מילים. מי שמאמן מודל שפה לערבית מדוברת או יומיומית ימצא כאן נפח עצום ממקור חי.
- 309הורדות בחודש
- 23לייקים
מה זה
החוקרים אספו במקור 100 גיגה-בייט של נתונים גולמיים מטוויטר, תוך התמקדות בתווים ערביים. במהלך העבודה הם גילו כמות גדולה של ציוצים בפרסית ומילים עם אותיות שחוזרות על עצמן, ולכן העבירו את הכל שרשרת ניקוי מקיפה.
בסינון הוסרו האשטגים, אזכורי משתמשים וקישורים. ציוצים שהכילו תווים פרסיים, רצף של שלוש אותיות זהות או מילים בנות אות אחת נזרקו לגמרי, לצד ביצוע נרמול של אותיות בערבית. התוצאה הסופית מכילה מעל 41 גיגה-בייט של טקסט נקי, הכולל כמעט 4 מיליארד מילים וכ־12 מיליון מילים ייחודיות, כשהנתונים שמורים בקובץ טקסט בשם lm_twitter.txt לצד סקריפט טעינה.
מתאים ל
- אימון מודלי שפה בערבית
אימון מקדים של מודלי שפה על נפח עצום של כמעט 4 מיליארד מילים מערבית מודרנית ויומיומית.
- מודלי שפה לחלק קולי
בניית מודלי שפה לטובת שילוב במערכות זיהוי דיבור בערבית, המטרה שלשמה נאסף הדאטהסט במקור.
- ניתוח אוצר מילים ומורפולוגיה
בדיקת תפוצה ודפוסים של כ־12 מיליון מילים ייחודיות בטקסטים מנוקים מרשתות חברתיות.
איפה זה נופל
יוצרי המאגר מצהירים בפירוש שהם לא בדקו את תוכן הציוצים מעבר לסינון התווים הטכני, והם מתנערים מכל אחריות על מה שנאמר בהם. זה אומר שאתם עלולים לפגוש טקסט פוגעני, שפה לא נאותה או הטיות קשות בלי שום בקרה. בנוסף, הסרת כל ההאשטגים והאזכורים פוגעת במבנה הטבעי של שיח ברשתות. המאגר מכיל ערבית בלבד, בלי שום ייצוג לשפות אחרות כמו עברית.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה במוצר מסחרי?
כן, רישיון cc-by-4.0 מתיר שימוש מסחרי מלא. הדרישה העיקרית היא לתת קרדיט למחברים המקוריים לפי פרטי הציטוט מהמאמר שפרסמו. אין חובה לחשוף את המודל או את הקוד שלכם.
כמה מקום בדיסק צריך כדי להוריד את הנתונים?
הטקסט הנקי שוקל מעל 41 גיגה-בייט. אם אתם בוחרים להוריד אותו במלואו ולא להשתמש בהזרמה, צריך לוודא שיש לכם מספיק שטח אחסון וזיכרון פנוי לעיבוד קובץ בגודל כזה.
האם יש בדאטהסט תוכן בעברית?
לא, המאגר כולל ערבית בלבד. החוקרים סיננו החוצה כל מה שלא נכתב באותיות ערביות, ואפילו תווים בפרסית נזרקו מהקובץ הסופי.
איך אספו את המידע ואיך הוא נוקה?
החוקרים גרדו 100 גיגה-בייט של ציוצים גולמיים מטוויטר. הם מחקו קישורים, תיוגים והאשטגים, והסירו ציוצים עם תווים פרסיים, רצפי אותיות חוזרות או מילים באורך אות אחת, לצד ביצוע נרמול אותיות.
איך טוענים
טוענים את הנתונים דרך ספריית datasets באמצעות הנתיב pain/Arabic-Tweets. בגלל שמדובר ביותר מ־41 גיגה-בייט של טקסט, כדאי מאוד להפעיל מצב streaming כדי לבדוק רשומות ראשונות ולא להוריד הכל מראש. המאגר ציבורי לחלוטין ואין צורך לבקש אישור גישה מראש. הקובץ המרכזי הוא lm_twitter.txt, ומוגדר בו פיצול train רגיל.
from datasets import load_dataset
ds = load_dataset("pain/Arabic-Tweets")הרישיון
המאגר מופץ תחת רישיון cc-by-4.0. מותר להשתמש בו לצרכים מסחריים ומחקריים, לשנות אותו ולשלב אותו במערכות אחרות. התנאי היחיד הוא מתן קרדיט ברור למחברים המקוריים, לפי הציטוט שמופיע במאמר שלהם מ־IEEE. הרישיון לא דורש שיתוף באותם תנאים, כך שמודל שאומן עליו יכול להישאר בקוד סגור.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס