fineweb-tokenized

מה זה

המאגר מכיל טקסט רשת שמקורו בדאטהסט FineWeb המקורי של Hugging Face, אך במקום טקסט גולמי הוא מציע מזהי טוקנים מוכנים. המפרסמים השתמשו בטוקנייזר מסוג BPE של AnisoleAI עם גודל מילון של 52,022 מונחים, והמירו את הנתונים ישירות למערכי מספרים.

המבנה הפנימי מאורגן בקובצי Parquet דחוסים לפי תיקיות של עובדי עיבוד שונים. כל קובץ כזה מכיל עמודה אחת בלבד בשם token_ids ללא ריפוד, שבה כל המסמכים משורשרים ברצף ומופרדים באמצעות תו מיוחד שמסמן סוף מסמך ומזההו 52002.

נכון לפרסום, הפרויקט נמצא בעבודה ומציע כארבעה טריליון טוקנים מתוך יעד כולל של כחמישה עשר טריליון טוקנים שנמצאים במאגר המקור.

מתאים ל

• אימון מקדים של מודלי שפה

  הזרמת טוקנים ישירה למעבדים גרפיים ללא צורך בהפעלת שלב טוקניזציה מקומי בזמן הריצה.

• מבחני ביצועים למעבדים

  מדידת קצב הזנת נתונים לחומרה באימון מודלים בקנה מידה גדול עם קובצי נתונים דחוסים.

• בדיקת ארכיטקטורות קטנות

  טעינת חלקים בודדים של שני מיליארד טוקנים לבדיקת מודלים מהירה בלי להוריד עשרות טראבייט של טקסט.

איפה זה נופל

הנתונים כולם באנגלית ומבוססים על סריקות רשת, כך שאין כאן מענה לשפות אחרות או לתוכן בעברית. החיסרון המרכזי הוא הנעילה לטוקנייזר הספציפי של AnisoleAI, מה שאומר שאם ארכיטקטורת המודל שלכם דורשת מילון אחר, אי אפשר להשתמש במאגר הזה. בנוסף, מדובר במזהי מספרים בלבד ולא בטקסט קריא, מה שמקשה מאוד על בדיקה מדגמית של איכות התוכן או סינון הטיות ורעלים לפני שלב האימון.

איך טוענים

טוענים את הקבצים ישירות באמצעות PyArrow לקריאת מערכי המספרים השלמים, או בעזרת ספריית datasets הרגילה. המאגר ציבורי ואינו דורש אישור גישה מראש. כל קובץ בודד מכיל בערך שני מיליארד טוקנים ושוקל סביב 2.5 ג'יגה בייט דחוס או כארבעה ג'יגה בייט במצב פתוח, כך שמומלץ להזרים קובץ אחרי קובץ ולא לנסות למשוך את כל 2,499 הקבצים בבת אחת לזיכרון המקומי.

from datasets import load_dataset

ds = load_dataset("anisoleai/fineweb-tokenized")

הרישיון

המאגר מופץ תחת רישיון odc-by, שמתיר שימוש מסחרי, שינוי והפצה של הנתונים. הדרישה העיקרית היא מתן קרדיט וייחוס מתאים ליוצרי המאגר ולפרויקט FineWeb המקורי בכל מוצר, מחקר או מודל שמתבסס עליהם.

הרישיון המלא ב־Hugging Face ↗