Mixed-Arabic-Datasets-Repo
קוד פתוחM-A-Dרישיון לא דווח2023-08-27
מאגר ענק המאגד עשרות מקורות טקסט בערבית ספרותית ובדיאלקטים מקומיים. הוא חוסך את הצורך ללקט ידנית ספריות מקבילות לצורך אימון מודלי שפה.
- 1,055הורדות בחודש
- 38לייקים
מה זה
המאגר כולל בין מיליארד לעשרה מיליארד רשומות טקסט, המפוצלות ל־126 קבצים. הרשומות עצמן אינן אחידות, מכיוון שהן מגיעות משלל מקורות חיצוניים שונים לחלוטין ברשת. תמצאו כאן טקסטים קלאסיים מתוך פרויקטים של ספרי הינדאווי, לצד שיחות רשת של OpenAssistant, תרגומים של Bactrian-X, וערכים מוויקיפדיה בערבית קלאסית, מצרית ומרוקאית.
בנוסף לתכנים עיוניים וספרותיים, יש במאגר ציוצים מטוויטר עם תיוגי רגש, חדשות מאתרים סעודיים ומרוקאיים, סיפורים עממיים בדיאלקט דאריג'ה וטקסטים דתיים. היוצרים לא ביצעו סינון או ניקוי אחיד של הנתונים, אלא ריכזו את המקורות כפי שהם כדי לפתור את בעיית הפיצול של נתונים בערבית. החלוקה הפנימית בנויה לפי תצורות שונות, כך שכל מקור מופיע כתת־מאגר עצמאי בעל מבנה שדות ייחודי.
מתאים ל
- אימון מקדים למודלי שפה
איסוף כמות עצומה של טקסט ערבי מקורי ומגוון לצורך לימוד שפה בסיסי מתוך קבצי Parquet.
- סיווג ניתוח רגשות
שימוש בתת־המאגרים של ציוצי טוויטר כדי לאמן מסווגים על תגובות גולשים בדיאלקטים שונים.
- מחקר בלשני של דיאלקטים
השוואה ישירה בין ערבית ספרותית, מצרית ומרוקאית מתוך מקורות ויקיפדיה וסיפורים מקומיים.
איפה זה נופל
החיסרון המרכזי כאן הוא חוסר אחידות מוחלט בין התצורות השונות. אין סכמה קבועה, אין תיעוד על אופן הסינון של תוכן פוגעני או כפילויות, ולא נמסר מידע על גיל הנתונים או תהליך הניקוי. הטקסטים מכסים דיאלקטים שונים לצד ערבית ספרותית, כך שערבוב עיוור שלהם ללא בדיקה יכניס רעש כבד למודל שתאמנו.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מסחרי?
אין לכך תשובה חד משמעית כי אין רישיון כולל. תצטרכו להיכנס לקישור של כל מקור ספציפי שבו תרצו להשתמש, ולבדוק אם הרישיון המקורי שלו מאפשר שימוש מסחרי.
האם יש במאגר טקסטים בעברית?
לא. המאגר מוגדר לשפה הערבית בלבד, וכולל ערבית ספרותית ומספר דיאלקטים אזוריים כמו מצרית ומרוקאית.
איך נאספו הנתונים?
היוצרים לא אספו את הטקסטים בעצמם מהרשת. הם ליקטו והעלו מחדש מאגרים פתוחים קיימים שפורסמו על ידי חוקרים ומשתמשים אחרים.
האם אפשר להוריד את הכל בבת אחת?
אפשר למשוך את הקבצים, אבל אי אפשר לטעון אותם כמקשה אחת בצורה ישירה. כל מקור מוגדר כתצורה נפרדת עם מבנה עמודות שונה שדורש עיבוד מקדים.
איך טוענים
טוענים את הנתונים דרך ספריית datasets באמצעות ציון שם התצורה הרצויה, למשל Ara--Ali-C137--Hindawi-Books-dataset. הקבצים שמורים בפורמט Parquet, ואין צורך באישור גישה כדי להתחיל בהורדה. המאגר מפוצל לעשרות תצורות שונות, כך שאם אתם מתכננים לאחד כמה מקורות יחד, תצטרכו לנרמל את שמות השדות והמבנה שלהם בעצמכם לפני המיזוג.
from datasets import load_dataset
ds = load_dataset("M-A-D/Mixed-Arabic-Datasets-Repo")הרישיון
למאגר עצמו אין רישיון כללי אחיד. היוצרים מציינים שכל דאטהסט שנכלל בו שומר על הרישיון המקורי של יוצריו. המצב הזה הופך אימון מודל מסחרי למסוכן מאוד, שכן אתם נדרשים לבדוק את תנאי השימוש הספציפיים של כל תת־מאגר בנפרד כדי לוודא שאינכם מפרים זכויות יוצרים.