statistics
קוד פתוחcommoncrawlרישיון לא דווח2024-06-11
המאגר מרכז נתוני רקע ומדדים על סריקות הרשת החודשיות של Common Crawl. הוא מיועד למי שרוצה להבין את הרכב הטקסט ברשת, אחוזי שפות ופרוטוקולים לפני שמורידים נפחי ענק.
- 1,108הורדות בחודש
- 30לייקים
מה זה
המאגר כולל 29 קבצים, רובם בפורמט CSV לצד קובצי טקסט, שמכילים מדדים סטטיסטיים ישירים מיומני הסריקה. במקום תוכן של אתרים, יש כאן טבלאות על התפלגות קידודי תווים שזוהו עם Apache Tika, סטטוסים של תגובות HTTP כמו שגיאות או חסימות ברובוטס, התפלגות גרסאות פרוטוקולי רשת וכתובות IP, וחפיפות תוכן בין חודשים שמחושבות בעזרת HyperLogLog.
חלק מהקבצים מתמקדים בתוכן עצמו ברמת המאקרו. תמצאו שם התפלגות של 160 שפות שזוהו באמצעות CLD2 בדפי HTML, את 100 סוגי ה־MIME המובילים לפי כותרות השרת ולפי ניתוח תוכן, ורשימה של 500 הדומיינים שמהם נשמרו הכי הרבה דפים. המידע מחולק לנושאים כמו דומיינים ברמה עליונה, סוגי קידודים ומדדי סורק טכניים.
מתאים ל
- הערכת תמהיל שפות
בדיקת אחוזי השפות שנסרקו ברשת לצורך תכנון מקורות אימון למודלים.
- תכנון סורקי רשת
השוואת נתוני אמת על תגובות שרתים, שגיאות ופרוטוקולים נפוצים מול נתוני סריקה.
- חקר מבנה הווב
ניתוח התפלגות קידודי תווים וסוגי קבצים שכיחים באינטרנט הציבורי.
איפה זה נופל
זה לא מאגר טקסט לאימון מודלי שפה, ואין בו משפטים או דפי אינטרנט שלמים. בדיקות השפה מבוססות על CLD2 והורצו רק על דפי HTML, כך שמסמכים אחרים לא נכללו בזיהוי השפות. רשימת 500 הדומיינים המובילים משקפת את כמות הדפים שהסורק שמר בפועל ולא את חשיבות האתרים ברשת, כי המערכת מגבילה עומסים ומכבדת קובצי חסימה. בנוסף, חלוקת הדומיינים בודקת רק את הסיומת האחרונה בכתובת ומתעלמת מסיומות מדינה מורכבות.
שאלות
נפוצות
האם יש במאגר תוכן אתרים בעברית?
המאגר לא מחזיק את הטקסטים עצמם אלא רק מדדים. בדיקת השפות של הסריקה זיהתה 160 שפות בדפי HTML באמצעות CLD2, כך שהנתונים כוללים את אחוז הדפים שנמצאו בכל שפה, אך ללא התוכן שנאסף.
מה המשקל והנפח של הקבצים?
בניגוד לארכיוני הווב הרגילים של Common Crawl שמגיעים למאות טרה-בייטים, המאגר הזה מכיל בסך הכל 29 קובצי סטטיסטיקה וטבלאות CSV. מדובר בנתונים קלים שאפשר להוריד ולנתח ישירות על כל מחשב.
האם המאגר מותר לשימוש מסחרי?
בדף המאגר לא דווח רישיון. במצב כזה אין אישור רשמי לשימוש מסחרי, ומומלץ לבדוק את תנאי המיזם הכלליים של Common Crawl לפני שמשלבים את המידע בפעילות עסקית.
מה ההבדל בין מאגר זה למאגר הראשי של Common Crawl?
המאגר הראשי מכיל את דפי האינטרנט עצמם בפורמטים כמו WARC. המאגר הנוכחי מחזיק רק קובצי סטטיסטיקה ודוחות מיומני הריצה, כמו חפיפות בין חודשים, קידודים, וסוגי כתובות IP.
איך טוענים
טוענים את הקבצים ישירות עם כלים סטנדרטיים כמו ספריית pandas או פקודות מערכת, בלי צורך בתהליכי אישור גישה מיוחדים. המאגר מורכב מקובצי CSV פשוטים כמו charsets.csv וקבצים בתיקיית crawler שבודקים גרסאות TLS ופרוטוקולים, לצד קובצי טקסט בודדים. אין כאן נתוני עתק של סריקת ווב אלא טבלאות סיכום קלות שמתאימות לניתוח מהיר על מחשב אישי.
from datasets import load_dataset
ds = load_dataset("commoncrawl/statistics")הרישיון
למאגר זה לא דווח רישיון שימוש. המשמעות עבורכם ברורה: בהיעדר תנאי רישוי כתובים או היתר מפורש, אין ודאות משפטית לגבי שימוש מסחרי, הפצה מחדש או הסתמכות על הנתונים בתוך מוצר פעיל.