CrossSum
קוד פתוחcsebuetnlpcc-by-nc-sa-4.02022-04-20
המאגר כולל 1.70 מיליון זוגות של כתבות ותקצירים בין שפות שונות עבור מעל 1500 שילובים. הוא נועד למי שרוצה לאמן מודלים לתמצות חוצה שפות בלי להסתמך רק על אנגלית.
- 2,347הורדות בחודש
- 15לייקים
מה זה
הנתונים מתבססים על המאגר הרב לשוני XL-Sum שמקורו בכתבות של ה־BBC בארבעים וחמש שפות שונות. החוקרים לקחו את הכתבות המקוריות וביצעו הצלבה של כתבות זהות שפורסמו בשפות שונות באמצעות אחזור חוצה שפות ומודל ייצוג שאינו תלוי שפה. התוצאה היא אוסף דוגמאות שבו טקסט בשפת מקור מוצמד לתקציר שנכתב בשפת יעד אחרת, כך שנוצרים מעל אלף וחמש מאות שילובי שפות שונים.
כל רשומה במאגר כוללת ארבעה שדות בסיסיים: קישור לכתבת המקור, קישור לכתבת היעד, גוף הטקסט המלא בשפת המקור והתקציר בשפת היעד. המאגר מחולק לפי צמדי שפות ספציפיים, כאשר כל צמד שמור כקובץ דחוס משלו. החלוקה הפנימית מציגה הבדלים משמעותיים בהיקף הדוגמאות, מצמדים עצומים כמו רוסית ואוקראינית או סינית מפושטת ומסורתית, ועד צמדים דלילים מאוד עם דוגמאות בודדות בלבד.
מתאים ל
- תמצות ישיר משפה לשפה
אימון מודלים שמקבלים טקסט בשפה אחת ומפיקים תקציר בשפה אחרת ללא תרגום מקדים.
- הערכת מודלים רב לשוניים
מדידת ביצועים של מודלי שפה על צמדי שפות נפוצים או דלי משאבים בעולם החדשות.
- מחקר על ייצוג חוצה שפות
בדיקת יכולת ההכללה של ארכיטקטורות תרגום ותמצות על פני מגוון שפות רחב.
איפה זה נופל
עברית לא קיימת כאן בכלל, כך שלפרויקטים מקומיים הוא לא רלוונטי ללא אימון נוסף. כל הטקסטים מגיעים מאתרי חדשות של ה־BBC, מה שמייצר הטיה ברורה לסגנון עיתונאי, לאוצר מילים פורמלי ולנושאי אקטואליה. מעבר לזה, הכרטיס לא מפרט על סינון מידע אישי, הטיות חברתיות או שגיאות של תהליך ההצלבה האוטומטי, ואיכות ההתאמה תלויה לגמרי במודל שביצע את האחזור בין הכתבות. בנוסף יש חוסר איזון קיצוני בין השפות, וחלק מהצמדים מכילים דוגמאות בודדות בלבד.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון הוא cc-by-nc-sa-4.0 והכרטיס מגדיר במפורש שהשימוש מוגבל למטרות מחקר לא מסחריות בלבד. זכויות היוצרים על הטקסטים שייכות למפרסם המקורי.
האם המאגר כולל טקסטים בעברית?
לא. המאגר כולל 45 שפות שונות, ביניהן ערבית, פרסית, אנגלית, רוסית והינדי, אך עברית אינה נכללת ברשימת השפות של הפרויקט.
איך נאספו והותאמו הכתבות בין השפות השונות?
החוקרים לקחו את מאגר XL-Sum שמבוסס על חדשות ה־BBC והתאימו כתבות מקבילות בשפות שונות. ההתאמה נעשתה באופן אוטומטי באמצעות אחזור מידע חוצה שפות עם מודל ייצוג שאינו תלוי שפה.
האם צריך להוריד את כל המאגר בבת אחת?
אין צורך. המאגר מפוצל לאלפי קבצים לפי צמדי שפות, ואפשר לטעון באמצעות קוד רק את הצמד הספציפי שמעניין אתכם לאימון או לבדיקה.
איך טוענים
טוענים את הנתונים ישירות דרך הספרייה datasets של Hugging Face באמצעות ציון צמד השפות הרצוי כמחרוזת אחת, כמו למשל english-bengali. המאגר פתוח לחלוטין לציבור ולא דורש הרשמה מוקדמת או קבלת אישור גישה. במאגר שמורים מעל אלפיים קבצים דחוסים בפורמט tar.bz2, כך שכדאי למשוך רק את צמדי השפות הספציפיים שמעניינים אתכם ולא את כל המאגר בבת אחת. השדות שמעניינים אתכם בפועל לאימון הם text ו־summary, ושני השדות הנוספים מכילים רק את כתובות הרשת של הכתבות.
from datasets import load_dataset
ds = load_dataset("csebuetnlp/CrossSum")הרישיון
המאגר מופץ תחת רישיון cc-by-nc-sa-4.0. הרישיון אוסר שימוש מסחרי מכל סוג ומגביל את השימוש למחקר בלבד, תוך חובת מתן קרדיט ליוצרים. בנוסף, חל תנאי שיתוף זהה שמחייב להפיץ כל יצירה נגזרת תחת אותו הרישיון בדיוק, וזכויות היוצרים המקוריות על התוכן שייכות ל־BBC.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא