arxiv_papers
קוד פתוחcommon-pileרישיון לא דווח2024-09-04
מאגר טקסט נקי של מעל שלוש מאות אלף מאמרים אקדמיים מארכייב. מי שמאמן מודל שפה ורוצה תוכן מדעי ברישיונות פתוחים ימצא כאן חלופה מסודרת בלי להמיר קובצי מקור לבד.
- 3,421הורדות בחודש
- 17לייקים
מה זה
המאגר מכיל 321,336 מסמכים שנלקחו מתוך מאגר המאמרים הפתוח ארכייב, ומקיף תחומים כמו מדעי המחשב, מתמטיקה, פיזיקה, ביולוגיה כמותית וכלכלה. מתוך מעל 2.4 מיליון מאמרים שקיימים באתר, נאספו רק אלה שהועלו תחת רישיונות CC BY, CC BY-SA ו־CC0.
תהליך העיבוד כלל שלושה שלבים ברורים. תחילה הורדו קובצי המקור בפורמט לטך ישירות מבאקט הגישה הישירה של ארכייב ב־S3. לאחר מכן הומרו הקבצים למסמך HTML יחיד באמצעות הכלי LaTeXML, ולבסוף חולץ הטקסט הנקי באמצעות ספריית Trafilatura. נפח הטקסט הכולל מגיע ל־21 גיגה בייט בקידוד UTF-8.
התוכן שמור בגרסה גולמית ללא סינונים כבדים מעבר להמרת הפורמט. מי שמחפש גרסה מסוננת יותר יוכל למצוא אותה במאגר נפרד שהוכן עבור המודל Comma v0.1.
מתאים ל
- אימון מקדים של מודלי שפה
הזנת טקסט מדעי נקי ללימוד אוצר מילים מקצועי והבנת מבנה של מאמרי מחקר.
- הערכת ביצועים בתחום המדע
בדיקת יכולת המודל לייצר תקצירים או להשלים טקסט טכני במתמטיקה ומדעי המחשב.
- כריית מידע וידע מדעי
ניתוח מגמות מחקריות וחיפוש קשרים בין מושגים על פני מאות אלפי מסמכים.
איפה זה נופל
כל הטקסט במאגר מוגדר באנגלית בלבד, ואין כאן מקורות בשפות אחרות או בעברית. מעבר לכך, היוצרים מזהירים מפני טעויות בזיהוי רישיונות או מטא-דאטה לא מדויק במקור, מה שעלול להכניס פנימה מסמכים שלא אמורים להיות ברישיון פתוח. בנוסף, מדובר בגרסה גולמית שלא עברה סינון איכות, הסרת כפילויות או ניקוי מתקדם מעבר להמרת הלטך לטקסט.
שאלות
נפוצות
האם יש במאגר מאמרים בעברית?
לא. המאגר מוגדר רשמית כדאטהסט באנגלית בלבד, וכל המאמרים שנאספו בו נכתבו בשפה זו.
האם מותר להשתמש במאגר למוצר מסחרי?
זה מורכב ומחייב זהירות. המאמרים נאספו תחת תנאי CC0, CC BY וגם CC BY-SA, כאשר האחרון כולל דרישת שיתוף זהה שעלולה להגביל מוצרים סגורים. בנוסף, המפרסמים מציינים שעלולות להיות טעויות ברישום הרישיונות המקוריים.
מה ההבדל בין המאגר הזה לגרסת הסינון של Comma?
זהו המאגר הגולמי שמכיל את כל 321,336 המאמרים שעברו המרה מטקסט מקור בלבד. הגרסה ששימשה לאימון המודל Comma v0.1 נמצאת במאגר נפרד ועברה תהליכי סינון וניקוי נוספים.
כמה מקום המאגר תופס בדיסק?
הטקסט בקידוד UTF-8 שוקל 21 גיגה בייט. הקבצים עצמם מחולקים ל־24 ארכיונים דחוסים בפורמט jsonl.gz.
איך טוענים
טוענים את הנתונים ישירות דרך הספרייה של Hugging Face מתוך common-pile/arxiv_papers ללא צורך בהרשאה מיוחדת או אישור גישה. המאגר כולו מחולק ל־24 קבצים מכווצים בפורמט jsonl.gz, בנפח טקסט כולל של 21 גיגה בייט, כך שמומלץ להשתמש בסטרימינג אם עובדים על מחשב מקומי בעל זיכרון מוגבל.
from datasets import load_dataset
ds = load_dataset("common-pile/arxiv_papers")הרישיון
בעמוד הדאטהסט לא מוגדר רישיון רשמי גורף, אך הטקסטים עצמם נאספו מתוך מאמרים שפורסמו ברישיונות CC0, CC BY ו־CC BY-SA. נוכחות של רישיון CC BY-SA מחייבת תשומת לב מיוחדת, שכן היא עלולה להטיל חובת שיתוף זהה על נגזרות של הדאטה. כיוון שאין רישיון אחיד ברור למאגר כולו, מומלץ לבדוק את הרישיון המקורי של כל רשומה לפני שימוש מסחרי במודל שמאומן עליו.