FineWeb-pro
קוד פתוחgair-proxodc-by2024-09-16
סינון קפדני של 100 מיליארד טוקנים מתוך FineWeb שנבנה לאימון מודלי שפה. הוא מיועד למי שמחפש טקסט רשת באנגלית ברמת ניקיון גבוהה יותר מהמקור.
- 751הורדות בחודש
- 26לייקים
מה זה
המאגר הזה הוא גרסה מעובדת ומצומצמת של דגימת 350 מיליארד הטוקנים מתוך FineWeb המוכר. הצוות לקח את הטקסטים הגולמיים מהרשת והעביר אותם תהליך סינון ושכתוב באמצעות מערכת בשם ProX, שמטרתה לחקות עריכה אנושית בקנה מידה רחב. התוצאה היא מאגר שמכיל כ־100 מיליארד טוקנים איכותיים המוכנים ישירות לשלב ה־pre-training של מודלים כלליים.
כל הנתונים מבוססים על דפי רשת שנאספו במקור על ידי Common Crawl, כך שמדובר בטקסטים מגוונים מהאינטרנט שעברו ניקוי עמוק. במקום להסתפק בהסרת זבל רגילה, הסינון כאן מנסה להעלות את רמת התוכן בכל דוגמה. המידע מחולק למאות קובצי Parquet סטנדרטיים, ללא חלוקה מורכבת לתתי-סוגים בכרטיס, והמיקוד כולו הוא בהפקת טקסט רציף לאימון מודלים של יצירת שפה.
מתאים ל
- אימון מקדים של מודלי שפה
אימון מודלי יצירת טקסט באנגלית מאפס על 100 מיליארד טוקנים מסוננים.
- המשך אימון של מודלים קיימים
ביצוע continual pre-training לחיזוק יכולות הבנת שפה וטקסט כללי.
- מחקר על איכות דאטה
השוואת ביצועים מול FineWeb המקורי לבדיקת יעילות שיטת הסינון ProX.
איפה זה נופל
הנתונים כוללים אנגלית בלבד, כך שאם אתם בונים מודל שמיועד לעברית המאגר הזה פשוט לא יעזור. מעבר לכך, המקור הוא דפי אינטרנט של Common Crawl, על כל ההטיות, הדעות והתוכן הבעייתי שמאפיינים את הרשת הפתוחה. למרות הסינון של ProX, לא מפורטים בכרטיס מדדי בטיחות ספציפיים או בדיקות רעילות, ולכן אי אפשר להסתמך עליו בעיניים עצומות ליישומים רגישים בלי סינון נוסף.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
כן, רישיון ODC-By מאפשר שימוש מסחרי מלא. התנאי העיקרי הוא מתן קרדיט ליוצרי המאגר ועמידה בתנאי השימוש של Common Crawl.
האם יש במאגר טקסטים בעברית?
לא. המאגר מוגדר ומסומן לדוברי אנגלית בלבד, וכל הטקסטים בו עברו סינון שמכוון לשפה זו.
מה ההבדל בינו לבין FineWeb המקורי?
FineWeb המקורי מכיל כמויות עצומות של מידע גולמי יותר. כאן נלקחה דגימה של 350 מיליארד טוקנים וסוננה לכ־100 מיליארד טוקנים מובחרים באמצעות שיטת ProX.
איך ניגשים לקבצים בפועל?
המידע מחולק ל־902 קבצים בפורמט Parquet. ניתן לטעון אותם בקלות בפייתון בעזרת ספריית datasets או לקרוא ישירות קבצים בודדים לפי הצורך.
איך טוענים
הנתונים יושבים במאגר פתוח ללא צורך באישור גישה מוקדם, ומאורגנים ביותר מ־900 קובצי Parquet בתיקיית data. טוענים אותם באמצעות ספריית datasets הרגילה. בגלל שמדובר במאות קבצים ובנפח גדול של מיליארדי טוקנים, תצטרכו שטח אחסון משמעותי ותעבורת רשת חזקה, או עבודה במצב סטרימינג ישירות מהמאגר.
from datasets import load_dataset
ds = load_dataset("gair-prox/FineWeb-pro")הרישיון
הרישיון הוא ODC-By 1.0, שמתיר שימוש מסחרי ומחקר כל עוד נותנים קרדיט מתאים. מכיוון שהנתונים מקורם ב־Common Crawl, אתם מחויבים לציית גם לתנאי השימוש שלהם. שימוש במאגר לאימון מודל אינו מחייב אתכם לשחרר את המודל עצמו תחת אותו רישיון, אך חובת הייחוס לדאטהסט הבסיסי נשארת.