open-arxiv
קוד פתוחopen-indexcc0-1.02026-03-24
המאגר מרכז מטא-דאטה של 2.99 מיליון מאמרים מדעיים מ־arXiv מ־1991 עד 2026. הוא נותן גישה מהירה לכותרות, תקצירים וקטגוריות בקובצי Parquet קלים בלי להתעסק עם קובץ ענק מ־Kaggle.
- 1,780הורדות בחודש
- 18לייקים
מה זה
כל רשומה מייצגת מאמר שהועלה לשרת של arXiv, עם 14 שדות נתונים שנשמרו מהמקור של אוניברסיטת קורנל ללא שינוי תוכן. המידע כולל מזהה מאמר, כותרת, תקציר, רשימת מחברים גולמית ומפורקת, קטגוריות, תאריך עדכון, היסטוריית גרסאות ושדות אופציונליים כמו קישורי DOI, כתבי עת ורישיון המאמר המקורי.
הנתונים נלקחו ישירות מחבילת ה־JSONL של קורנל ב־Kaggle, והומרו בעזרת תהליך ב־Go ל־417 קובצי Parquet דחוסים ב־Zstd. החלוקה הפיזית בנויה לפי חודש ההגשה של כל מאמר, כך שכל קובץ מכיל חודש ספציפי מ־1991 ועד מרץ 2026, תחת חלוקה יחידה של train.
מתאים ל
- סיווג נושאי של טקסט מדעי
אימון מודלים לסיווג תקצירים לפי קטגוריות arXiv קיימות על בסיס כותרות ותקצירים.
- חילוץ וקטורי ויצירת אמבדינג
בניית אינדקס חיפוש סמנטי למחקרים אקדמיים תוך שימוש בשדות הכותרת והתקציר בלבד.
- ניתוח היסטורי של מגמות מחקר
מעקב אחרי צמיחת תחומי ידע וקשרים בין תחומיים לפי חלוקת החודשים והקטגוריות מ־1991.
איפה זה נופל
זהו מאגר מטא-דאטה בלבד, ואין בו את הטקסט המלא של המאמרים או קובצי ה־PDF. בנוסף, לא נעשה שום תהליך לזיהוי חד ערכי של מחברים בעלי שמות זהים. התקצירים כוללים שאריות של תחביר LaTeX ורווחים מיותרים שהגיעו מההגשות המקוריות, ורוב החומר מתמקד במדעי המחשב, מתמטיקה ופיזיקה באנגלית, כשרק לחלק קטן מהרשומות יש שיוך ל־DOI.
שאלות
נפוצות
האם אפשר להשתמש בדאטהסט לפרויקטים מסחריים?
כן, המאגר פורסם תחת רישיון CC0 שמוותר על זכויות יוצרים ומאפשר כל שימוש מסחרי. יש לזכור שזה תקף על המטא-דאטה שנאסף כאן, בעוד הטקסטים המקוריים של המאמרים מחזיקים ברישיונות נפרדים שמופיעים בשדה הייעודי.
כמה מקום הדאטהסט תופס והאם צריך להוריד הכל?
המשקל הכולל בדיסק הוא 1.4 גיגה-בייט בלבד, בזכות דחיסת Zstd של קובצי ה־Parquet. אפשר להוריד חודשים ספציפיים, להזרים שורות בלי להוריד את כל המאגר, או להריץ שאילתות DuckDB מרחוק ישירות על העמודות הדרושות.
האם המאגר כולל את הטקסט המלא של המאמרים?
לא, יש בו רק תקצירים, כותרות, שמות מחברים ופרטי הגשה. אם אתם צריכים את גוף המאמר המלא או קובצי ה־PDF, תצטרכו למשוך אותם ממקורות אחרים כמו האחסון הציבורי של arXiv ב־Google Cloud.
האם יש במאגר תוכן בעברית?
המאגר מוגדר כמכיל אנגלית ומולטילינגוואל, אך כמעט כל התוכן המדעי ב־arXiv מוגש באנגלית בלבד. לא כדאי להסתמך עליו כמקור לטקסטים או מונחים בעברית.
איך טוענים
אין צורך באישור גישה או במפתחות API, פשוט מושכים ישירות מ־Hugging Face דרך ספריית datasets או מריצים שאילתות מעל ה־URL בעזרת DuckDB. המשקל הכולל של הדאטהסט הוא 1.4 גיגה-בייט, כך שאפשר לטעון אותו לזיכרון בקלות או לעבוד בהזרמה.
שימו לב ששני שדות מורכבים, versions ו־authors_parsed, נשמרו כמחרוזות JSON שטוחות כדי לא לשבור תאימות, ולכן צריך להריץ עליהם json.loads ידנית בזמן העיבוד.
from datasets import load_dataset
ds = load_dataset("open-index/open-arxiv")הרישיון
המאגר מופץ תחת CC0 1.0 Universal לנחלת הכלל, מה שמאפשר שימוש מסחרי, שינוי ואימון מודלים בלי דרישת ייחוס ובלי חובת שיתוף זהה. יחד עם זאת, הרישיון חל על המטא-דאטה עצמו בלבד, כאשר המאמרים המקוריים נושאים רישיונות נפרדים המפורטים בשדה הרישיון של כל רשומה.