arxiv_s2orc_parsed
קוד פתוחAlgorithmicResearchGroupרישיון לא דווח2023-07-15
טקסט מלא של מאמרי ArXiv שנלקחו מתוך מאגר S2ORC, כולל קישורי גיטהאב שחולצו מתוכם. מתאים למי שמאמן מודלים על כתיבה מדעית ומחפש חיבור ישיר לקוד.
- 2,132הורדות בחודש
- 28לייקים
מה זה
המאגר מכיל רשומות שמייצגות מאמרים מדעיים מלאים. הוא מבוסס על S2ORC של מכון אלן, אך עבר סינון מדויק שמשאיר אך ורק פרסומים שהגיעו מתוך ArXiv.
כל רשומה כוללת את גוף הטקסט המלא של המאמר לצד מטא דאטה. בין השדות תמצאו שמות מחברים, שיוך מוסדי, מזהי ArXiv, מזהה קורפוס, וכן רשימה ייעודית של קישורי גיטהאב שנשלפו מתוך גוף הטקסט במטרה לקשר בין מחקרים ליישום שלהם בקוד.
אין כאן חלוקה מובנית לולידציה או בדיקה. כל הנתונים מוגדרים תחת פיצול יחיד של אימון, כך שתצטרכו לדאוג לחלוקה כזו בעצמכם לפני העבודה.
מתאים ל
- אימון מודלי שפה למדע
לימוד מודלים להבין ולנסח טקסט אקדמי מורכב, כולל מונחים טכניים וסגנון כתיבה מחקרי.
- מיפוי מאמרים למאגרי קוד
הצלבה בין מחקרים תיאורטיים לבין מימושים מעשיים באמצעות כתובות הגיטהאב שחולצו מהטקסט.
- סיווג אוטומטי של מחקרים
חלוקת פרסומים לנושאים ולתחומים מדעיים שונים בעזרת משימות סיווג ללא אימון מוקדם.
איפה זה נופל
הטקסט כולו באנגלית ומוגבל לעולם הפרסומים של ArXiv, כך שאין כאן ייצוג למדע בעברית או לתחומי מחקר שלא נהוג להעלות לשם. בנוסף, חילוץ טקסט מקובצי PDF נוטה לסבול משגיאות פענוח של נוסחאות, טבלאות ותווים מיוחדים. לא מפורט בכרטיס תאריך החיתוך המדויק של המאמרים שנכללו, ולכן צריך לבדוק ידנית את טווח השנים לפני שמסתמכים עליו כמקור עדכני.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ לעשות זאת כרגע. בעמוד המאגר לא צוין שום רישיון שימוש, וכל מאמר ב־ArXiv מפורסם תחת תנאים משפטיים נפרדים של המחברים. שימוש כזה חושף אתכם לתביעות זכויות יוצרים.
האם המאגר כולל טקסטים או מאמרים בעברית?
לא, המאגר מוגדר רשמית כדובר אנגלית בלבד. כמעט כל החומר ב־ArXiv מתפרסם בשפה זו, כך שאין כאן מידע רלוונטי לעיבוד שפה טבעית בעברית.
מאיפה הנתונים הגיעו ואיך הם נאספו?
הבסיס הוא קורפוס S2ORC שנבנה על ידי מכון אלן לבינה מלאכותית. היוצרים של המאגר הנוכחי סיננו מתוכו רק את המאמרים שהתפרסמו ב־ArXiv, וחילצו מתוכם באופן ייעודי קישורים למאגרי גיטהאב.
איך כדאי להוריד אותו בלי לפוצץ את הדיסק?
המאגר מורכב מ־180 קובצי פארקט וכולל היקף עצום של טקסט מלא. מומלץ להשתמש ביכולת הסטרימינג של ספריית datasets, שמאפשרת לעבד רשומות בזו אחר זו ברשת מבלי לשמור את כל הקבצים במחשב.
איך טוענים
טוענים את המידע ישירות באמצעות ספריית datasets עם הנתיב AlgorithmicResearchGroup/arxiv_s2orc_parsed. אין צורך באישור גישה מוקדם, והמאגר פתוח להורדה ישירה בפורמט פארקט שמחולק ל־180 קבצים.
בגלל הנפח הגדול, מומלץ מאוד להפעיל את מצב הסטרימינג במקום להוריד את כל החבילה לכונן המקומי. השדות המרכזיים שתרצו למשוך הם text עבור תוכן המאמר ו־github_urls לצורך ניתוח קישורים לקוד.
from datasets import load_dataset
ds = load_dataset("AlgorithmicResearchGroup/arxiv_s2orc_parsed")הרישיון
היוצרים לא הגדירו רישיון בכרטיס המאגר. מבחינה משפטית מדובר בשטח אפור ומסוכן, בייחוד לשימוש מסחרי או לאימון מודלים שמיועדים למוצר פתוח. בנוסף, המאמרים עצמם מוגנים בזכויות יוצרים שונות לפי תנאי ההעלאה המקוריים שלהם ב־ArXiv, ולכן אסור להניח שמותר להפיץ את התוצרים ללא בדיקה משפטית מוקדמת.