epstein-files-20k
קוד פתוחteylerרישיון לא דווח2025-12-14
המאגר כולל טקסט מחולץ מתוך אלפי מסמכים ציבוריים של עזבון אפשטיין. הוא מיועד למי שבונה ומעריך מערכות אחזור מידע ומחפש קורפוס אמיתי, מבולגן ומורכב.
- 90הורדות בחודש
- 30לייקים
מה זה
המאגר מרכז מעל 25,000 קובצי טקסט פשוט שנאספו מפרסום רשמי של ועדת הפיקוח של בית הנבחרים האמריקאי מנובמבר 2025. החומרים המקוריים הגיעו מתיקיית גוגל דרייב שהוועדה שיתפה, וכוללים מסמכים, תכתובות וסריקות שנוצרו על ידי גורמים פרטיים שונים הקשורים לפרשה.
המקור מחולק לשני חלקים עיקריים לפי סוג הקובץ המקורי. החלק הראשון מכיל קבצים שנולדו דיגיטלית כמו מסמכי פי די אף ומיילים, והם הומרו ישירות לטקסט ללא עריכה ידנית. החלק השני מבוסס על כעשרים אלף תמונות סרוקות שהומרו לטקסט באמצעות מנוע זיהוי תווים אופטי.
שמות הקבצים שומרים על המבנה והנתיבים מהפרסום המקורי כדי לאפשר בדיקה מול מקורות הנייר והסריקות. התוכן עצמו לא עבר סינון, תמצות או הוספת השחרות מעבר למה שהופיע בפרסום הממשלתי.
מתאים ל
- בדיקת מערכות RAG
הערכת ביצועי שליפה וחיפוש על מסמכים ארוכים, מקוטעים ומלאי רעש טקסטואלי.
- ניסויי אשכול ותמצות
פיתוח אלגוריתמים לאשכול נושאי של קורפוס משפטי וציבורי מורכב.
- מחקר עיתונאי והיסטורי
ניתוח ממוחשב וחיפוש קשרים ברשומות הציבוריות שפרסמה ועדת בית הנבחרים.
איפה זה נופל
זה קורפוס מלוכלך שמכיל שגיאות קריאה של זיהוי תווים, פסקאות שבורות ושאריות של השחרות גרפיות וחותמות. כל הטקסטים באנגלית, ללא עברית, והם מציגים טענות לא מאומתות וספקולציות שאין להתייחס אליהן כעובדות מוגמרות. הכרטיס אוסר במפורש על אימון מודלים, ניסיונות לחשוף מידע מושחר או שימוש בנתונים לפגיעה באנשים. התוכן עוסק בנושאים קשים של פגיעות מיניות וסחר, ולכן הוא לא מתאים להערכה במערכות כלליות הפונות למשתמשי קצה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. המאגר פורסם ללא רישיון מוגדר, וזכויות היוצרים על החומרים שייכות ליוצריהם המקוריים או מוגנות תחת פרסומי הוועדה. בנוסף, הכרטיס מציין שהחומר מיועד למחקר בלבד ואוסר במפורש על אימון מודלים.
האם יש במאגר טקסטים בעברית?
לא. כל המסמכים נאספו מגופים רשמיים בארצות הברית והם כתובים באנגלית בלבד. אם המערכת שלכם נדרשת לעבד עברית, המאגר הזה לא יספק לכם נתונים רלוונטיים.
איך הופק הטקסט מתוך הסריקות?
כעשרים אלף תמונות עברו המרה באמצעות מנוע הקוד הפתוח Tesseract. קבצים שהיו דיגיטליים במקור חולצו ישירות לטקסט רגיל, ללא עריכה ידנית או תיקון שגיאות.
האם המידע במסמכים נחשב לעובדתי ומאומת?
ממש לא. כרטיס המאגר מזהיר במפורש שהטקסטים כוללים טענות שאינן מאומתות, השערות ומידע חלקי. אין להסתמך עליהם כראיה או כעובדות מבוססות בעבודה עם מודלים.
איך טוענים
במאגר יש שלושה קבצים, כולל קובץ טקסט בשם EPS_FILES_20K_NOV2025.txt ומסמך הסבר, לצד אזכור של קובץ סי אס וי שמרכז את הנתונים. מורידים את הקבצים ישירות מדף המאגר ללא צורך באישור גישה מיוחד או חתימה על תנאים. שמות הקבצים והנתיבים המקוריים הם השדות העיקריים שמאפשרים לקשר בין הטקסט הגולמי לבין המסמכים המקוריים שפורסמו ברשת.
from datasets import load_dataset
ds = load_dataset("teyler/epstein-files-20k")הרישיון
היוצר לא דיווח על רישיון לשימוש במאגר. המסמכים המקוריים שייכים לגורמים פרטיים או מוגנים בזכויות יוצרים של ועדת הפיקוח, כך שאין כאן היתר לשימוש מסחרי, שכפול או יצירת נגזרות. אימון מודל על המאגר אסור במפורש לפי תנאי הכרטיס ומהווה סיכון משפטי ברור.