c4_200m

מה זה

במאגר יש 185 מיליון זוגות משפטים שנבנו על בסיס הטקסטים הנקיים באנגלית מתוך קורפוס C4 המקורי. המבנה של כל רשומה פשוט מאוד וכולל בסך הכל שני שדות מחרוזת, input ו־output. השדה הראשון מציג משפט משובש עם שגיאות תחביר או ניסוח, והשדה השני מציג את המשפט התקין והמתוקן שממנו הוא נוצר.

השגיאות בנתונים לא נאספו מאנשים אמיתיים שכתבו באנגלית אלא נוצרו באופן סינתטי. היוצר השתמש בסקריפטים ובשיטות שיבוש מתוך פרויקט המחקר של גוגל לתיקון שגיאות דקדוקיות כדי להזריק שגיאות מלאכותיות לטקסט המקורי. אין כאן חלוקה מוגדרת מראש לחלקי אימון, בדיקה או ולידציה, אלא פשוט מצבור ענק של זוגות משפטים שמוכן לעיבוד עצמאי לפי הצרכים שלכם.

מתאים ל

• אימון מודלי תיקון תחביר

  אימון מקדים של מודלי שפה על עשרות מיליוני דוגמאות של משפטים שבורים ותיקונם באנגלית.

• בדיקת ביצועי מודלים

  מדידת יכולת התיקון של מודלי שפה על גבי דוגמאות שיבוש סינתטיות לפני שמשלבים נתונים אנושיים.

• ניתוח דפוסי שיבוש סינתטי

  מחקר על אופן הפעולה של אלגוריתמי הזרקת שגיאות אוטומטיים וההשפעה שלהם על איכות התיקון.

איפה זה נופל

הנתונים כולם באנגלית בלבד, ואין כאן אף מילה בעברית או תמיכה בשפות אחרות. מעבר לזה, מדובר בשגיאות שנוצרו על ידי אלגוריתם סינתטי ולא בטעויות של כותבים אנושיים אמיתיים, כך שהשיבושים עלולים להרגיש מכניים ולא לשקף שגיאות נפוצות של דוברי אנגלית כשפה שנייה. המאגר פורסם במרץ 2022 ומבוסס על C4, כך שאין בו מידע עדכני מהשנים האחרונות, ולפני שרצים לאמן עליו כדאי לבדוק מדגמית אם דפוסי השיבוש האלה באמת פותרים את הבעיות שאתם רואים בשטח.

איך טוענים

טוענים את המאגר דרך ספריית datasets באמצעות המזהה liweili/c4_200m, שמפעיל את סקריפט הטעינה c4_200m.py מול הקובץ data.zip שנמצא במאגר. אין צורך לבקש אישור גישה מיוחד כדי להוריד אותו. השדות שמעניינים אתכם הם input ו־output בלבד, אבל כדאי לזכור שמדובר ב־185 מיליון רשומות, כך שהקובץ המכווץ והנתונים הפרוסים דורשים נפח אחסון משמעותי וזמן פריסה ארוך במיוחד.

from datasets import load_dataset

ds = load_dataset("liweili/c4_200m")

הרישיון

היוצר לא דיווח על רישיון כלל בדף המאגר. מבחינה מעשית זה אומר שאין לכם שום הרשאה מפורשת להשתמש בנתונים, לא לצרכים מסחריים ולא לפיתוח מוצר פנימי. אם אתם מתכוונים לאמן מודל שישמש מערכת מסחרית, אי אפשר להסתמך על מאגר בלי רישיון מוגדר בלי לקחת סיכון משפטי ברור.

הרישיון המלא ב־Hugging Face ↗