mc4-id
קוד פתוחindonesian-nlpodc-by2022-03-02
גרסה מסוננת ומנוקה של החלק האינדונזי מתוך מאגר mC4 הענק שמבוסס על Common Crawl. המאגר מיועד למי שמאמן מודלי שפה באינדונזית וצריך טקסט אינטרנטי גולמי שעבר ניקוי גסויות.
- 1,787הורדות בחודש
- 14לייקים
מה זה
המאגר כולל רשומות טקסט שנקצרו מאתרים באינטרנט בשפה האינדונזית. כל רשומה פשוטה ומכילה את כתובת המקור, הטקסט עצמו וחותמת זמן של מועד הגרידה. המקור הראשוני הוא פרויקט Common Crawl בעיבוד של צוות AllenAI למאגר mC4 הרחב.
היוצרים של הגרסה הזו ביצעו סינון נוסף שמטרתו להסיר ניבול פה ותוכן וולגרי, אם כי לפי הכותרת הם מודים שזה אולי נקי ולא בהכרח מושלם. הנתונים מחולקים לקבצי json מכווצים שנשמרו בפורמט tfrecord, ויש גם חלוקות משנה כמו תת-מאגר קטן לבדיקות מהירות מול הגרסה המלאה.
מתאים ל
- אימון מודלי שפה באינדונזית
אימון מודלים גנרטיביים מאפס או המשך אימון של מודלים קיימים על טקסט אינדונזי שעבר ניקוי ראשוני.
- מחקר על הטיות ברשת
בדיקה של האופן שבו הטיות מתגובות ומבלוגים באינטרנט מחלחלות למודלים שאומנו על טקסט גולמי.
- בדיקת איכות של סינון תוכן
מדידה של יעילות הניקוי מול גרסת mC4 המקורית כדי להעריך סינון של שפה וולגרית.
איפה זה נופל
למרות הניסיון לנקות גסויות, המאגר מכיל טקסטים מבלוגים ומתגובות ברשת, ולכן משקף את כל ההטיות והשפה של האינטרנט. המאגר מכיל רק אינדונזית, כך שאין בו תועלת לעבודה בעברית או באנגלית. אם אתם בונים מודל שמיועד למשתמשי קצה, אי אפשר לסמוך על הסינון הקיים, וחובה לבצע בדיקות רעילות והתאמה לפני שמשחררים מוצר כזה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקטים מסחריים?
כן. רישיון ODC-BY מאפשר שימוש מסחרי, אבל מחייב אתכם לתת קרדיט ליוצרי המאגר ולחוקרים של mC4. בנוסף עליכם לציית לתנאי השימוש של Common Crawl לגבי התוכן עצמו.
האם המאגר רלוונטי לעבודה בעברית?
לא. המאגר מיועד אך ורק לאינדונזית ומכיל טקסטים בשפה זו בלבד. אין בו נתונים בעברית ולא תוכלו להשתמש בו לאימון מודלים מקומיים.
מאיפה הנתונים הגיעו ומה עשו איתם?
הבסיס הוא איסוף האתרים של Common Crawl שעובד על ידי AllenAI במסגרת mC4. היוצרים של החבילה הנוכחית לקחו את החלק האינדונזי והריצו עליו סינון נוסף שנועד להסיר מילים גסות ותוכן פוגעני.
איך מומלץ לעבוד איתו בלי לפוצץ את הדיסק?
המאגר מורכב מ־1,027 קבצים ודורש שטח אחסון גדול. הדרך הנוחה היא להשתמש במצב הזרמה בספריית datasets כדי לקרוא רשומות בזמן אמת, או להתחיל בבדיקות עם תת-המאגר tiny.
איך טוענים
טוענים את המאגר ישירות עם ספריית datasets של Hugging Face, ואין צורך בבקשת גישה מיוחדת. בגלל שמדובר ביותר מאלף קבצים שמבוססים על mC4, עבודה בהורדה מלאה תכביד מאוד על האחסון והזיכרון. הדרך הנכונה לגשת לחלק המלא היא שימוש במצב הזרמה, streaming, או טעינה של תת-המאגר tiny כדי לבדוק את המבנה. השדות הרלוונטיים לעבודה הם text עבור האימון ו־url לצורך מעקב מקורות.
from datasets import load_dataset
ds = load_dataset("indonesian-nlp/mc4-id")הרישיון
המאגר מופץ תחת רישיון ODC-BY, שמתיר שימוש מסחרי ומחקר תמורת מתן קרדיט מתאים ליוצרים ולצוות של mC4. בנוסף, השימוש בתוכן עצמו כפוף לתנאי השימוש של Common Crawl. מותר לאמן מודלים על הטקסט, כל עוד מקפידים על ייחוס המקורות.