French-Science-Commons
קוד פתוחPleIAsרישיון לא דווח2026-03-16
מעל מיליון מאמרים ותזות אקדמיים שנאספו ממאגרים צרפתיים ועברו המרה לפורמט מרקדאון מובנה. המטרה כאן היא אימון מודלים על טקסט מדעי עשיר שאינו נשען רק על אנגלית.
- 1,102הורדות בחודש
- 24לייקים
מה זה
המאגר מכיל 1,248,860 מסמכים מדעיים, מתוכם 1,189,628 מאמרים ו־59,232 תזות, שמסתכמים יחד ביותר מ־15 מיליארד מילים. הרשומות מגיעות ממאגרים ציבוריים כמו HAL, OpenAlex וכתבי עת מכל רחבי העולם הפרנקופוני, ומכסות מסמכים שהועלו בשנים 2007 עד 2026. במקום טקסט גולמי רגיל, כל עמוד עבר עיבוד ויזואלי באמצעות המודל dots.ocr ששומר על נוסחאות מתמטיות, טבלאות ומבנה כותרות.
התוכן מחולק ברמת המסמך לשש קטגוריות על לפי תקן Frascati של ה־OECD, הכוללות מדעי הטבע, הנדסה וטכנולוגיה, רפואה, חקלאות, מדעי החברה, ומדעי הרוח ואמנויות. מבחינת הרכב האוספים, המאגר מפוצל לשניים: אוסף French Open Science שמרכז פרסומים ברישיונות חופשיים, ואוסף HAL Open Access שנלקח ישירות מהארכיון הפתוח ומכיל גם תכנים עם מגבלות זכויות יוצרים.
מתאים ל
- אימון מודלי שפה בצרפתית
הרחבת אוצר המילים וההבנה המדעית של מודלים בצרפתית על בסיס 15 מיליארד מילים אקדמיות מובנות.
- בניית מערכות RAG מדעיות
שליפת עמודי מחקר ספציפיים הכוללים נוסחאות וטבלאות במענה לשאלות מורכבות בתחומי ה־OECD השונים.
- מיון וסיווג נושאי של מאמרים
פיתוח מסווגים אוטומטיים של תחומי מחקר בהתבסס על שדות הדיסציפלינה והחלוקה הקיימת במאגר.
איפה זה נופל
ההטיה המשמעותית ביותר נובעת מהשפה: שמונים אחוז מהעמודים כתובים בצרפתית, והשאר בעיקר באנגלית. עברית לא קיימת כאן בכלל, כך שלאימון מודלים מקומיים בישראל הוא לא יתרום ישירות. בנוסף, חלוקת השורות לפי עמודים דורשת שלב עיבוד מקדים לאיחוד המסמכים, ופלט ה־OCR, מתקדם ככל שיהיה, עלול להכיל שגיאות קריאה בנוסחאות מורכבות או בטבלאות צפופות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
זה תלוי בכל רשומה בנפרד. חלק מהמסמכים נושאים רישיונות חופשיים כמו CC0 או CC-BY שמתירים שימוש מסחרי, אך חלקים נרחבים מאוסף HAL כוללים זכויות יוצרים מוגבלות. חובה לסנן את השדות license ו־terms לפני שילוב הנתונים בצנרת מסחרית.
האם יש במאגר טקסטים בעברית?
לא. שמונים אחוז מהעמודים הם בצרפתית, ויתר התוכן כתוב בעיקר באנגלית ממחקרים שפורסמו בצרפת ובמדינות דוברות צרפתית.
איך נאסף הטקסט מתוך קובצי ה־PDF?
היוצרים המירו כל עמוד לתמונה והריצו עליה מודל ראייה-שפה ייעודי בשם dots.ocr. תהליך זה שמר על כותרות, טבלאות, רשימות ונוסחאות מתמטיות ישירות לפורמט מרקדאון.
באיזה אופן מאורגנות הרשומות בקבצים?
המידע שמור בקבצי Parquet כאשר כל שורה מייצגת עמוד בודד ולא מסמך שלם. כדי לקרוא מאמר מלא נדרש לקבץ את השורות לפי שדה המזהה הייחודי ולסדר אותן לפי מספר העמוד.
איך טוענים
הנתונים מחולקים למאות קבצי Parquet ויושבים במאגר פתוח ללא צורך בהרשאת גישה מיוחדת. כל שורה מייצגת עמוד בודד ולא מסמך שלם. כדי לבנות מחדש מאמר מלא צריך לקבץ את השורות לפי שדה id ולמיין לפי שדה page. השדות העיקריים לעבודה כוללים את text שמכיל את התוכן במרקדאון, language לזיהוי השפה, וכן license ו־terms שמגדירים את תנאי השימוש החוקיים בכל רשומה בנפרד.
from datasets import load_dataset
ds = load_dataset("PleIAs/French-Science-Commons")הרישיון
המאגר כולו לא מפורסם תחת רישיון אחיד, אלא מציג רישיון נפרד ברמת כל רשומה. בחלק של French Open Science תמצאו בעיקר רישיונות כמו CC-BY, CC-BY-SA, CC0 והרישיון הפתוח הצרפתי, אך בחלק של HAL ישנם מסמכים המוגנים בזכויות יוצרים של מוציאים לאור. היוצרים עצמם מבהירים כי אין להם זכויות על הטקסטים ומציינים שהשימוש מיועד לאימון למידה עמוקה וכריית מידע.