multilingual_cc_news
קוד פתוחintfloatרישיון לא דווח2023-03-22
מאגר ענק של כתבות חדשות במגוון עצום של שפות שנאספו מתוך Common Crawl. הוא נותן גישה נוחה לקריאת הטקסטים דרך קוד במקום להתעסק בהורדה ידנית של קבצי מקור כבדים.
- 993הורדות בחודש
- 21לייקים
מה זה
המאגר מבוסס על פרויקט קודם בשם CloverSearch/cc-news-mutlilingual, ומכיל בין מאה מיליון למיליארד רשומות של כתבות חדשותיות מרחבי הרשת. התרומה המרכזית של היוצרים כאן היא סקריפט טעינה ייעודי שמתחבר ישירות לספריית datasets, כך שלא צריך להוריד את קבצי המקור הגולמיים בעצמכם כדי להתחיל לעבוד.
המבנה של כל רשומה פשוט וכולל ארבעה שדות טקסט בלבד: כותרת הכתבה, גוף הטקסט המלא, כתובת האתר שממנה הכתבה נלקחה, ותאריך הפרסום המקורי. הכרטיס אינו מפרט תהליכי סינון, ניקוי רעשים, הסרת כפילויות או בקרת איכות שנעשו על התוכן, ולכן יש להתייחס אליו כטקסט שנאסף ישירות מאתרי חדשות עם כל הרעש שנלווה לחילוץ כזה.
מתאים ל
- אימון מקדים למודלי שפה
אימון מודלים רב לשוניים על כמויות גדולות של טקסט חדשותי בשפות ספציפיות שתבחרו מתוך הרשימה.
- חילוץ ישויות ותאריכים
בניית מודלים לזיהוי ישויות או אירועים לפי ציר זמן בעזרת שדות התאריך והטקסט המלא של הכתבות.
- ניתוח תוכן בעברית
בדיקת ביצועים וסיווג נושאים על קורפוס עיתונאי מקומי, מאחר שהשפה העברית נכללת ברשימת השפות הנתמכות.
איפה זה נופל
הכרטיס לא מספק מידע על שיטות הסינון, ולכן סביר שתמצאו בטקסטים שגיאות סריקה, פרסומות וקטעי קוד שלא נוקו כראוי. לא מצוין חלון התאריכים המדויק של הכתבות, כך שקשה לדעת מראש עד כמה המידע עדכני. נוסף על כך, אין תיעוד על אופן זיהוי השפות או על ייצוג הולם בין מקורות שונים, מה שעלול להכניס הטיות תוכן כבדות למודלים שתאמנו.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
לא מומלץ. בעמוד המאגר לא צוין שום רישיון, ומדובר בטקסטים מאתרי חדשות. ללא תנאי שימוש ברורים, שימוש מסחרי חושף אתכם לתביעות זכויות יוצרים.
האם המאגר כולל כתבות בעברית?
כן, הסימול he מופיע ברשימת השפות הנתמכות בסקריפט הטעינה. אתם יכולים לטעון רק את המקטע העברי על ידי ציון השפה בקוד.
מה ההבדל בין המאגר הזה למאגר המקורי CloverSearch?
התוכן מבוסס על אותו המקור בדיוק. ההבדל הוא שבמאגר הזה הוסיפו קובץ פייתון שמאפשר לטעון את הנתונים ישירות דרך הספרייה של Hugging Face בלי להוריד קבצים ידנית.
כמה מקום המאגר תופס בדיסק?
המאגר כולל בין מאה מיליון למיליארד רשומות, כך שהורדה של כל השפות יחד דורשת מאות ג'יגה בייט. מומלץ לסנן מראש ולהוריד רק את השפות שנחוצות לפרויקט שלכם.
איך טוענים
טוענים את הנתונים דרך ספריית datasets הרגילה של פייתון בפקודה load_dataset על המזהה intfloat/multilingual_cc_news. הסקריפט multilingual_cc_news.py דורש להגדיר את השפות הרצויות באמצעות הפרמטר languages, כך שניתן למשוך רק שפה מסוימת ולא את כל המאגר. הגישה פתוחה לחלוטין ואינה דורשת אישור, אך בגלל היקף הנתונים הכולל, משיכה של שפות גדולות תצרוך נפח אחסון משמעותי ותעבורת רשת רבה.
from datasets import load_dataset
ds = load_dataset("intfloat/multilingual_cc_news")הרישיון
היוצרים לא הגדירו רישיון שימוש במאגר. מבחינה משפטית, היעדר רישיון אומר שאין לכם הרשאה מפורשת להשתמש בנתונים, בטח שלא לאימון מודלים מסחריים או להפצה מחדש. אם אתם בונים מוצר מסחרי, לא הייתי נוגע בזה לפני בדיקה עם עורך דין שמתמחה בזכויות יוצרים של סריקת תוכן חדשותי.