lm1b
קוד פתוחbillion-word-benchmarkרישיון לא דווח2022-03-02
מאגר שמכיל כמעט מיליארד מילים באנגלית ומיועד למדידת ביצועים של מודלי שפה סטטיסטיים. הוא מתאים למי שצריך קורפוס סטנדרטי להערכה של משימות כמו השלמת טקסט או חיזוי מילים חסרות.
- 1,608הורדות בחודש
- 19לייקים
מה זה
המאגר כולל עשרות מיליוני משפטים נפרדים של טקסט רגיל, ללא תיוגים או שכבות מידע נוספות. כל שורה בתוכו היא מחרוזת טקסט בודדת מתוך השדה היחיד שקיים במבנה, ללא הקשר של פסקאות שלמות או מסמכים רחבים. המקורות המדויקים, אופן הסינון והיוצרים לא מפורטים בתיעוד שצורף, אך הוא מבוסס על מאמר מחקרי מ־2014 שנועד להגדיר מבחן אחיד למודלים סטטיסטיים.
הנתונים מחולקים לשני חלקים בלבד, אימון ומבחן. חלק האימון כולל 30,301,028 רשומות, ובחלק המבחן יש 306,688 רשומות. מדובר במבנה ישיר ופשוט מאוד שמטרתו להציג כמות גדולה של טקסט רציף בלי מטא־דאטה מסביב.
מתאים ל
- הערכת מודלי שפה
בדיקת ביצועים של מודלים סטטיסטיים ומודלי שפה על בנצ'מרק ידוע באנגלית.
- משימות השלמת מסכות
אימון ובדיקה של מודלים במשימות מסוג fill-mask על גבי משפטים בודדים.
- אימון ראשוני לגנרציה
הזנת כמויות גדולות של טקסט אנגלי פשוט למודלים מבוססי יצירת טקסט.
איפה זה נופל
הכרטיס לא מספק מידע על הטיות, פרטיות או אופן הניקוי של הטקסטים. הטקסט כולו באנגלית בלבד, ואין כאן שום ייצוג לעברית. בנוסף, המאמר המקורי פורסם ב־2014, כך שהשפה משקפת תקופה ישנה יחסית ואינה כוללת אירועים ומונחים מהעשור האחרון. משפטים נפרדים ללא הקשר של מסמך מלא מגבילים את ההתאמה שלו למודלים שדורשים חלונות הקשר ארוכים.
שאלות
נפוצות
האם יש במאגר טקסטים בעברית?
לא, המאגר מוגדר כמאגר באנגלית בלבד. כל הטקסטים והדוגמאות מציגים משפטים באנגלית, ואין בו תוכן בעברית. מי שמחפש מידע להערכת מודלים בשפה המקומית יצטרך לפנות למקורות אחרים.
כמה שטח אחסון צריך כדי להשתמש בו?
הורדת הקבצים דורשת 1.79 גיגה־בייט, אך תהליך הפריסה והיצירה של המאגר מייצר קבצים בגודל 4.28 גיגה־בייט. בסך הכל המאגר מנצל 6.07 גיגה־בייט בדיסק. מומלץ לוודא שיש מספיק מקום פנוי לפני שמתחילים בטעינה.
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
אין לכך תשובה חיובית בכרטיס, כי שדה הרישיון ריק ולא דווח. שימוש בנתונים ללא רישיון ברור חושף אתכם לסיכון משפטי, במיוחד אם המודל מיועד לשימוש מסחרי. מומלץ לבדוק את פרטי המאמר המקורי מ־2014 לפני שמכניסים אותו לתהליך עבודה כזה.
איך המידע בנוי ומה רואים בכל שורה?
המבנה שטוח ופשוט מאוד. כל רשומה כוללת שדה יחיד בשם text, שמכיל משפט אחד מתוך הקורפוס. אין במאגר תגיות, שמות מחברים, תאריכים או קישורים בין משפטים שונים.
איך טוענים
טוענים את המאגר דרך הקוד lm1b.py שנמצא במאגר, ללא צורך בהרשמה מראש או בקשת גישה מיוחדת. קבצי ההורדה עצמם שוקלים 1.79 גיגה־בייט, אבל יצירת הקבצים בפועל תופסת 4.28 גיגה־בייט, כך שבסך הכל נדרשים לפחות 6.07 גיגה־בייט של שטח דיסק פנוי כדי להחזיק אותו מקומית. הפורמט של הרשומות כולל שדה יחיד בשם text, ולכן אין צורך בעיבוד מורכב של מבני נתונים או סינון עמודות לפני שמזינים אותו לאימון או לבדיקה.
from datasets import load_dataset
ds = load_dataset("billion-word-benchmark/lm1b")הרישיון
הרישיון של המאגר לא דווח כלל בתיעוד. המשמעות היא שאין אישור מפורש לשימוש מסחרי, ולא ברור אם מותר להפיץ מודלים שאומנו עליו. עבור גופי מחקר זהו סיכון שדורש בירור ישיר מול החוקרים שפרסמו את המאמר, ולחברות מסחריות כדאי להימנע משימוש בו עד לבירור הזכויות.