ccmatrix
קוד פתוחyhavingaunknown2022-03-19
מאגר ענק של זוגות משפטים מקבילים לתרגום מכונה שנכרו מסריקות רשת. הוא מתאים למי שבונה מודלים גנרטיביים מרובי שפות וצריך היקפי טקסט עצומים בלי לאסוף אותם לבד.
- 1,583הורדות בחודש
- 26לייקים
מה זה
הנתונים מורכבים מזוגות משפטים מקבילים שתורגמו או הותאמו מתוך סריקות של האינטרנט באמצעות שיטות כרייה מבוססות שוליים מבית פייסבוק. בסך הכל המאגר כולל 7.37 מיליארד מקטעי משפטים ו־112.14 מיליארד טוקנים שמכסים 90 שפות שונות ב־1,197 שילובי שפות. המאגר כאן הוא למעשה מעטפת לטעינת הקבצים שנוצרו ומאוחסנים בפרויקט OPUS.
המבנה של כל רשומה פשוט מאוד ומכיל שלושה שדות: מזהה מספרי, ציון התאמה מספרי של איכות הכרייה, ומילון תרגום הכולל את שני חלקי המשפט בשפות הנבחרות. כל המידע מרוכז תחת חלוקה אחת בלבד של אימון.
מתאים ל
- אימון מודלי תרגום מכונה
אימון מודלים מבוססי טקסט לטקסט על צמדי שפות ספציפיים מתוך 1,197 השילובים הקיימים.
- סינון מקבילי לפי ציון איכות
שימוש בשדה הציון המצורף לכל משפט כדי לסנן זוגות ברמת איכות נמוכה לפני אימון.
- העשרת מודלים בשפות מרובות
הזנת כמויות גדולות של טוקנים לרשתות שפה שדורשות חשיפה למגוון שפות שנכרו מהרשת.
איפה זה נופל
כרטיס הנתונים לא מפרט סינון של מידע אישי או רגיש, והטקסטים מגיעים ישירות מסריקות אתרים כך שהם עלולים להכיל תוכן בעייתי או שגיאות תרגום וכרייה. המאגר מציע רק חלוקת אימון בלי סטים מסודרים לבדיקה או ולידציה, אותם תצטרכו לחתוך לבד. רשימת השפות הראשית בדף מציגה מדגם חלקי בלבד, כך שצריך לבדוק באתר של OPUS אילו צמדים קיימים בפועל לפני שמתחילים לרוץ.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה במוצר מסחרי?
הרישיון כאן מסומן כלא ידוע ואין בכרטיס הבהרה לגבי שימוש מסחרי. החומרים מבוססים על סריקות רשת ומאוחסנים ב־OPUS. בלי לבדוק את תנאי השימוש המקוריים באתר OPUS, יש סיכון משפטי להשתמש בזה במוצר מסחרי.
כמה המאגר הזה שוקל?
המאגר מכיל 90 קבצים הכוללים 112.14 מיליארד טוקנים ו־7.37 מיליארד חלקי משפטים. מדובר בהיקף כבד מאוד שלוקח עשרות דקות להוריד ולהכין ללא שימוש בהזרמה.
האם יש במאגר עברית?
קוד השפה העברית אינו מופיע ברשימה הקצרה שמוצגת בדף, אך המאגר המלא מכסה 90 שפות. כדי לבדוק בוודאות אם עברית נתמכת ובאילו צמדים, יש לבדוק ברשימת הקבצים באתר OPUS שאליו הכרטיס מפנה.
איך אספו את הנתונים בפועל?
הטקסטים נכרו ישירות מתוך סריקות רשת באמצעות שיטות לכריית בי־טקסט המבוססות על פרויקט LASER של פייסבוק. האלגוריתם זיהה משפטים מקבילים באינטרנט והצמיד להם ציון התאמה.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets על ידי ציון צמד השפות הרצוי, למשל en-nl. הגישה חופשית ואין צורך באישור מיוחד. כדאי מאוד להפעיל מצב סטרימינג בזמן הטעינה, אחרת ההורדה וההכנה של הקבצים למחשב המקומי ייקחו עשרות דקות בגלל הגודל הכולל של הנתונים. השדות העיקריים לעבודה הם שדה התרגום וציון ההתאמה.
from datasets import load_dataset
ds = load_dataset("yhavinga/ccmatrix")הרישיון
הרישיון בדף מוגדר כלא ידוע. הכרטיס אינו כולל שום מידע על הגבלות שימוש מסחרי, ייחוס נדרש או זכויות יוצרים של הטקסטים שנאספו ברשת, למעט הפניה למאמרים אקדמיים שיש לצטט. במצב כזה אי אפשר לדעת אם מותר להשתמש בתוצרים לצרכים מסחריים, ומומלץ לחקור את הרישיונות במקור של OPUS או להישאר במחקר בלבד.