OpenSeek-Pretrain-100B
קוד פתוחBAAIcc-by-sa-4.02025-04-10
דגימה של 100 מיליארד תוקנים לאימון מקדים, שמחברת טקסט רשת מסין ומאמרים מדעיים עם דאטה סינתטי לשרשראות חשיבה. שווה בדיקה למי שבונה מודל היקש דו לשוני.
- 1,775הורדות בחודש
- 20לייקים
מה זה
המאגר מכיל מקטעים מתוך CCI4.0-M2 v1 ומחולק לעשרות תיקיות משנה לפי מקורות, איכות ורמת סינתזה. החלק הארי נשען על חומרי רשת באנגלית ובסינית, לצד מקורות ייעודיים כמו מאמרים מ־arxiv, מאגר pes2o, ספרים, ויקיפדיה וקוד ממקורות כמו stack. כל מקור כזה ממוין לרמות איכות או לוס שונות.
חלק ניכר מהנפח מוקדש לדאטה סינתטי ולשרשראות חשיבה, תחת קטגוריות של cot_synthesis שנבנו על בסיס מתמטיקה, קוד ומאמרים. לצדם תמצאו עיבודים סינתטיים של חילוץ ידע וזוגות שאלות ותשובות מגוונים. זהו שילוב מכוון שנועד לדחוף יכולות הסקה כבר בשלב ה־pretraining, ולא רק לספק טקסט גולמי שנאסף מהאינטרנט.
מתאים ל
- אימון מקדים למודלי היקש
שילוב עשרות מיליארדי תוקנים של שרשראות חשיבה סינתטיות לאימון יכולות חשיבה בסיסיות.
- פיתוח מודלים דו לשוניים
בניית בסיס שפה חזק המשלב טקסט רשת איכותי באנגלית ובסינית לצד קוד ומתמטיקה.
- מחקרי סינון ואיכות דאטה
בחינת השפעת אימון על רמות איכות שונות, הודות לחלוקה המובנית לרמות לוס ודירוגים.
איפה זה נופל
אין כאן שום נגיעה לעברית. השפות היחידות הן אנגלית וסינית, כך שעבור מוצר מקומי הוא לא רלוונטי ללא שילוב מקורות נוספים. מעבר לכך, חלק עצום מהנפח הוא תוכן סינתטי ושרשראות חשיבה מבוססות מאמרים, מה שעלול לייצר הזיות מובנות או הטיה כבדה לסגנון כתיבה אקדמי ומלאכותי אם לא מאזנים את התמהיל.
שאלות
נפוצות
האם יש במאגר טקסטים בעברית?
לא. המאגר מוגדר ומכיל אך ורק תכנים באנגלית ובסינית. אימון בלעדי עליו יניב מודל ללא הבנה או יכולת ייצור בעברית.
האם מותר להשתמש בו למוצר מסחרי סגור?
הרישיון הוא cc-by-sa-4.0 שכולל סעיף שיתוף זהה. המשמעות המשפטית לגבי שחרור המשקלים של מודל שאומן על הדאטה מורכבת, ולא מעט ארגונים נמנעים ממנו במוצרים קנייניים.
באיזה פורמט הקבצים מגיעים?
הנתונים שמורים כצמדי קבצים בינאריים עם סיומות bin ו־idx. הם מיועדים להזנה יעילה ל־dataloader בזמן אימון מקדים, ולא בפורמט טקסטואלי רגיל כמו jsonl או parquet.
מה מייחד אותו מול דאטהסטים אחרים של רשת?
הוא לא מכיל רק טקסט גולמי אלא נתח גדול מאוד של נתונים סינתטיים ממוינים, כולל שרשראות חשיבה שנבנו ממאמרים ומקוד. זה מכוון ישירות לפיתוח מודלים שנועדו להסקה מתמטית ולוגית.
איך טוענים
הנתונים מגיעים בקבצי בינארי ואינדקס (bin ו־idx), פורמט שמיועד לטעינה מהירה בצינורות אימון גדולים כמו Megatron ולא לקריאה ישירה ב־pandas. המאגר פתוח להורדה ישירה ללא טופס גישה, וכולל 173 קבצים. לפני שאתם מורידים, תכינו תשתית שיודעת לקרוא טוקנים מקודדים ישירות מהדיסק בהתאם למבנה התיקיות.
from datasets import load_dataset
ds = load_dataset("BAAI/OpenSeek-Pretrain-100B")הרישיון
הרישיון הוא cc-by-sa-4.0. מותר להשתמש בנתונים לצרכים מסחריים, אך יש חובת ייחוס ברורה, וחשוב מכך, סעיף ShareAlike. אם אתם משנים את הדאטהסט או מפיצים יצירה נגזרת, עליכם לשחרר אותה תחת אותו רישיון בדיוק, מה שיוצר סיכון משפטי לא מבוטל סביב משקלי מודל שאומן עליו.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון