opc-fineweb-math-corpus
קוד פתוחOpenCoder-LLModc-by2024-11-10
דפי רשת בנושאי מתמטיקה שחולצו מתוך FineWeb לטובת אימון מודלים. זה מיועד למי שצריך תוכן מתמטי מסונן בלי לאסוף ולנקות לבד מיליארדי טוקנים מהרשת.
- 649הורדות בחודש
- 31לייקים
מה זה
המאגר מכיל דפי אינטרנט שעוסקים במתמטיקה, שנשלפו מתוך המאגר הרחב של FineWeb. מטרת האיסוף הייתה להרכיב קורפוס ייעודי ששימש ישירות באימון המקדים של OpenCoder. צוות הפיתוח השתמש במודל fastText בשלושה סבבים חוזרים כדי לסנן ולדלות את הדפים הרלוונטיים, מתוך כוונה להגיע לקבוצה כוללת של 55 מיליארד טוקנים של קוד ומתמטיקה יחד עם מאגר הקוד המקביל.
בפועל, המאגר מחולק לקבצי parquet סטנדרטיים. אין כאן יצירה סינתטית חדשה אלא שליפה ממוקדת של טקסטים קיימים מהרשת, כך שהתוכן מייצג את האופן שבו מתמטיקה מופיעה באתרים ציבוריים, כולל דיונים, הסברים ונוסחאות שפורסמו אונליין. פרטים מעמיקים נוספים על שלבי הסינון המדויקים מופיעים במאמר המדעי של הפרויקט.
מתאים ל
- אימון מקדים למודלי שפה
שילוב דפי מתמטיקה מהרשת בקורפוס האימון הכללי לשיפור יכולות ההסקה והחישוב.
- הערכת ביצועים בתחום המדעים
בדיקת יכולת המודל להתמודד עם טקסטים טכניים ונוסחאות מגוונות מתוך דפי אינטרנט.
- מחקר על שיטות סינון
ניתוח היעילות של שימוש ב־fastText למיון נושאי של טקסטים מתוך קורפוסים ענקיים.
איפה זה נופל
הכרטיס מציג מידע תמציתי מאוד ומפנה למאמר לקבלת פרטים טכניים מלאים. מכיוון שהבסיס הוא FineWeb, החומר נשען בעיקר על אנגלית ואין עדות לסינון או ייצוג של עברית. איכות ההסברים המתמטיים תלויה במה שהיה זמין ברשת הפתוחה, כך שייתכנו שגיאות חישוב במקור, חוסר עקביות בפורמט הנוסחאות ורעש טקסטואלי שנשאר מתהליך הגירוד. יש לוודא שהתוכן עונה על צרכי האימון לפני שמתחייבים למשאבי מחשוב כבדים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
כן. הרישיון המוגדר הוא odc-by, מה שמאפשר שימוש מסחרי חופשי. התנאי העיקרי הוא מתן קרדיט וייחוס ליוצרי המאגר.
האם יש במאגר טקסטים בעברית?
לא באופן מתוכנן. הנתונים נשלפו מתוך FineWeb בדגש על מקורות באנגלית שרלוונטיים למתמטיקה, כך שאם יש עברית מדובר בשאריות אקראיות בלבד.
מאיפה הגיעו הנתונים ואיך סיננו אותם?
הבסיס הוא מאגר FineWeb הפתוח. הצוות הפעיל מודל fastText בשלושה סבבים כדי לזהות ולבודד עמודים שעוסקים בנושאים מתמטיים.
מה הקשר בין המאגר הזה ל־fineweb-code-corpus?
שני המאגרים נוצרו יחד כחלק מההכנה של OpenCoder. אחד מתמקד בקוד שנאסף מהרשת, והנוכחי מתמקד בטקסטים ודיונים מתמטיים.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות המזהה OpenCoder-LLM/opc-fineweb-math-corpus. אין צורך באישור גישה מקדים או בהרשמה מיוחדת כי המאגר פתוח לחלוטין לציבור.
התוכן מאוחסן בתיקיית data ומפוצל ל־37 קבצי train בפורמט parquet, לצד קובץ תיעוד. בגלל שמדובר בעשרות קבצים שמקורם בחילוץ נרחב, מומלץ לעבוד עם הזרמת נתונים streaming כדי לבחון דגימות לפני שמורידים את כל הנפח למחשב המקומי.
from datasets import load_dataset
ds = load_dataset("OpenCoder-LLM/opc-fineweb-math-corpus")הרישיון
הרישיון המדווח הוא odc-by. מותר להשתמש בנתונים לצרכים מסחריים ומחקריים, לשנות אותם ולשלב אותם באימון מודלים, בתנאי שנותנים ייחוס הולם ליוצרים כפי שמתואר ברישיון. אין חובה לשתף את המודל המאומן או יצירות נגזרות תחת אותו רישיון.