wikitext
קוד פתוחSalesforcecc-by-sa-3.0,gfdl2022-03-02
מאגר טקסטים מאומתים מוויקיפדיה באנגלית עם מעל 100 מיליון טוקנים. הוא משמש בעיקר כמדד בוחן למודלי שפה שצריכים הקשר ארוך ופיסוק מקורי.
- 1,594,154הורדות בחודש
- 768לייקים
מה זה
המאגר כולל טקסטים שנלקחו מתוך ערכים מומלצים וטובים בלבד בוויקיפדיה האנגלית. בניגוד למאגרי עבר כמו Penn Treebank, הטקסט כאן שומר על אותיות גדולות וקטנות, סימני פיסוק מקוריים ומספרים, וכולל מאמרים שלמים שמתאימים ללמידת תלויות ארוכות טווח.
יש כאן שני גדלים עיקריים: wikitext-2 הקטן שמכיל 36,718 שורות אימון, ו־wikitext-103 הגדול שמכיל 1,801,350 שורות אימון. בשניהם קבוצות הוולידציה והבדיקה זהות בגודלן, עם 3,760 ו־4,358 שורות בהתאמה.
כל תצורה מגיעה בשתי גרסאות. גרסת ה־raw שומרת על הטקסט השלם ללא שינוי ומתאימה למודלים ברמת התו, ואילו הגרסה הרגילה החליפה מילים שלא מופיעות באוצר המילים הייעודי בטוקן unk לצורך עבודה ברמת המילה.
מתאים ל
- הערכת ביצועי מודלי שפה
מדידת Perplexity ומדדי שפה בסיסיים על טקסט תקני באנגלית עם תלויות ארוכות.
- אימון מודלים קטנים
אימון מהיר של מודלים מבוססי תווים או מילים על חומר מגוון מבחינה לקסיקלית.
- בדיקת משימות השלמת מסכה
הערכת מודלים במשימות fill-mask על משפטים תחביריים שלמים מתוך ערכים אנציקלופדיים.
איפה זה נופל
הנתונים כולם באנגלית בלבד ואין פה ייצוג לשפות אחרות. מעבר לזה, הכרטיס המקורי לא מפרט שום מידע על הטיות, סינון פרטים אישיים או השפעה חברתית, ומשאיר את רוב השדות הטכניים האלה ריקים. הטקסטים מבוססים על ערכי ויקיפדיה ישנים סביב תקופת פרסום המאמר ב־2016, כך שהמידע העובדתי אינו מעודכן ואינו מתאים לאימון מודל שמיועד לספק תשובות אקטואליות.
שאלות
נפוצות
האם הדאטהסט כולל טקסטים בעברית?
לא. המאגר מוגדר לשפה האנגלית בלבד, וכל הטקסטים נלקחו מתוך ויקיפדיה באנגלית.
כמה מקום בדיסק צריך בשביל לעבוד איתו?
ההורדה דורשת 391.41 מגה בייט, והדאטהסט שנוצר תופס 1.12 גיגה בייט. בסך הכל נדרשים כ־1.52 גיגה בייט של שטח אחסון פנוי כדי להחזיק את כל הקבצים.
האם מותר להשתמש בו לפרויקט מסחרי?
הרישיון מאפשר שימוש מסחרי בכפוף לקרדיט, אך כולל סעיף שיתוף זהה. המשמעות של סעיף זה לגבי שחרור מודלים שאומנו על הדאטהסט מורכבת ודורשת בדיקה משפטית לפני שילוב במוצר קנייני.
מה ההבדל בין גרסת raw לגרסה הרגילה?
גרסת raw שומרת על הטקסט המקורי כפי שהוא, כולל מילים נדירות, ומתאימה לעבודה ברמת התו. הגרסה הרגילה מחליפה מילים שמחוץ למילון המוגדר בטוקן unk ומתאימה למודלים ישנים יותר ברמת המילה.
איך טוענים
הטעינה פשוטה דרך קובצי Parquet ששמורים במאגר, ללא צורך בהרשאת גישה מיוחדת או אישור מראש. קובצי ההורדה שוקלים 391.41 מגה בייט בסך הכל, והדאטהסט המופק תופס כ־1.12 גיגה בייט בדיסק, כך שסך כל השטח הנדרש הוא כ־1.52 גיגה בייט. המבנה מינימליסטי לחלוטין, וכל רשומה מכילה שדה טקסט יחיד בשם text.
from datasets import load_dataset
ds = load_dataset("Salesforce/wikitext")הרישיון
המאגר מופץ ברישיון כפול cc-by-sa-3.0 ו־gfdl, ובטקסט הכרטיס מצוין רישיון CC BY-SA 4.0. המשמעות היא שמותר להשתמש בתוכן גם באופן מסחרי, אבל חלה חובת מתן קרדיט והפצת יצירות נגזרות תחת אותו רישיון שיתוף זהה. בעבודה על מודלים מסחריים סגורים כדאי לבדוק היטב עם ייעוץ משפטי אם חובת השיתוף חלה על משקלי המודל שאומן על הדאטה.