UltraTextbooks-2.0
קוד פתוחLocutusquecc-by-sa-4.02024-03-07
מאגר טקסטים לימודיים שמשלב כתיבה אנושית עם חומר סינתטי, ומתמקד במתמטיקה, תכנות ולמידת מכונה. מתאים בעיקר למי שרוצה לאמן מודלים על תוכן מדעי מובנה.
- 250הורדות בחודש
- 53לייקים
מה זה
המאגר מרכז קטעים מתוך ספרי לימוד, ומכיל כ־3,200,000 רשומות שמחולקות לשני שדות בלבד: שדה הטקסט ושדה המקור. התוכן מורכב מתערובת של חומר שנכתב בידי אנשים וטקסט שנוצר בידי בינה מלאכותית, ללא פיצול מובנה לסט בדיקה או וולידציה, אלא כסט אימון יחיד.
היוצר אסף את המידע ממספר מאגרים ציבוריים בהאגינג פייס, ביניהם מיליון וחצי דגימות מתוך mini-peS2o, מיליון דגימות מתוך tiny-strange-textbooks, וכן מאגרי קוד ורפואה כמו textbook_quality_programming, libre_chem_textbooks ו־MedRAG. הכרטיס מציין שהחומר עבר סינון כדי להבטיח רמה לימודית גבוהה, אך אינו מפרט את הכלים או הספי התוכן המדויקים ששימשו לניקוי.
מתאים ל
- אימון מודלי שפה בסיסיים
הרחבת הידע של מודל בתחומי מדעים מדויקים, קוד ואלגוריתמיקה באמצעות טקסט לימודי מרוכז.
- יצירת תוכן לימודי
התאמת מודלים למתן הסברים מפורטים ופתרון שאלות במתמטיקה ותכנות.
- אימון על משימות מיסוך
שיפור הבנת הקשרים טכניים ומושגים מדעיים במודלים מסוג fill-mask.
איפה זה נופל
הטקסט כולו באנגלית, ולכן הוא לא יעזור כלל למי שמחפש לשפר ביצועים בעברית. חלק מהתוכן יוצר על ידי בינה מלאכותית ומגיע ממאגרים שונים עם שיטות איסוף שונות, מה שעלול להכניס אי-דיוקים מדעיים והזיות. יוצר המאגר מודה בעצמו שעלולות להיות בו הטיות ושגיאות, ולא מפרט בדיקות איכות כמותיות או סינון של תוכן פוגעני. לפני שמשלבים את המידע באימון מודל סופי, חובה לדגום את הטקסטים ולוודא שהנוסחאות וההסברים בתחומי המתמטיקה והרפואה נכונים עובדתית.
שאלות
נפוצות
האם יש במאגר טקסטים בעברית?
לא. המאגר מוגדר ומכיל טקסט באנגלית בלבד. אם המטרה היא אימון בעברית, החומר הזה לא יתאים.
האם מותר להשתמש בדאטהסט לפרויקט מסחרי?
הרישיון מאפשר שימוש מסחרי, אך הוא כולל סעיף שיתוף זהה של ייחוס ושיתוף באותם תנאים. יש לבדוק עם יועץ משפטי אם עצם אימון המודל מחייב שחרור של משקולות המודל תחת אותו רישיון.
כמה מקום צריך בשבילו בדיסק?
הקבצים שוקלים כ־6 גיגה-בייט בסך הכל. הם מחולקים ל־14 קובצי parquet, כך שאין בעיה לטעון אותם בחלקים גם במחשב אישי.
האם הנתונים חולקו מראש לסט אימון ובדיקה?
לא. כל הנתונים מגיעים כסט אימון יחיד. אם רוצים לבצע הערכה נקייה, יש לפצל את הדוגמאות באופן עצמאי לפני תחילת העבודה.
איך טוענים
החומר מחולק ל־14 קובצי parquet, מ־0 עד 13, ושוקל בסך הכל כ־6 גיגה-בייט. אין צורך באישור גישה או במילוי טפסים כדי להוריד אותו. הטעינה נעשית ישירות דרך הספרייה הרגילה של האגינג פייס. מבנה הרשומה פשוט מאוד, כך שצריך לחלץ רק את שדה text לאימון, ואפשר להשתמש בשדה source אם רוצים לסנן מקורות ספציפיים כמו קוד או מאמרים רפואיים.
from datasets import load_dataset
ds = load_dataset("Locutusque/UltraTextbooks-2.0")הרישיון
הרישיון הוא cc-by-sa-4.0. מותר להשתמש בו לצרכים מסחריים ופרטיים, אך יש חובת ייחוס ברורה ליוצר. בנוסף, חל תנאי שיתוף זהה שמחייב הפצה תחת אותו רישיון אם עורכים או משנים את הדאטהסט עצמו. המשמעות המשפטית של התנאי הזה לגבי מודלים שאומנו עליו שנויה במחלוקת בעולם הקוד הפתוח, ולכן צוותים משפטיים בחברות מסחריות נוטים להיזהר מאימון על רישיונות share-alike.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון