hupd
קוד פתוחHUPDcc-by-sa-4.02022-03-02
בקשות פטנט אמריקאיות מלאות מ־2004 עד 2018 עם החלטות הבוחנים. זה מאגר מובנה שמאפשר לבדוק סיכויי אישור של פטנט או לסכם תביעות משפטיות.
- 2,172הורדות בחודש
- 45לייקים
מה זה
המאגר מאגד בקשות פטנט מסוג utility שהוגשו לרשות הפטנטים האמריקאית, ה־USPTO, בין ינואר 2004 לדצמבר 2018. הטקסטים המלאים הגיעו מקובצי XML של מערכת האחסון של הרשות, ונתוני הרקע הביבליוגרפיים נמשכו ממאגר המחקר של המשרד בפברואר 2021. למעט תיוג סטטוס ההחלטה הסופית שחישבו החוקרים, אין כאן תיוגים חיצוניים מעבר למה שהוגש במקור או נקבע על ידי הרשות.
כל בקשה יושבת כקובץ JSON נפרד לפי מספר הבקשה שלה, וכוללת 34 שדות שונים. הנתונים מכסים את התוכן הטקסטואלי המלא כמו כותרת, תקציר, תביעות, רקע, תיאור ההמצאה, לצד מטא-דאטה משפטי וניהולי שכולל את שמות הממציאים, עורכי הדין, הבוחנים, תאריכי הגשה, סיווגי IPC ו־CPC, ואינדיקטורים לגבי חברות קטנות או הגשות זרות.
מתאים ל
- חיזוי אישור פטנט
אימון מסווג שמקבל תביעות או תיאור המצאה וחוזה האם הבקשה תאושר על ידי הבוחן.
- תיוג סיווגים טכנולוגיים
זיהוי אוטומטי של קוד הסיווג הראשי (IPC או CPC) מתוך טקסט הפטנט.
- סיכום תביעות משפטיות
אימון מודלי שפה ליצירת תקציר טכני מדויק מתוך סעיפי התביעות של הבקשה.
איפה זה נופל
הטקסט כולו באנגלית אמריקאית ומשקף רק את מערכת הרישום של ארצות הברית, ללא ייצוג למדינות או שפות אחרות, כך שהוא עיוור להקשר ישראלי או גלובלי. המידע נעצר בסוף 2018 ולא כולל פטנטים מהשנים האחרונות. יוצרי המאגר מציינים הטיות מובנות קשות: נשים סובלות מתת-ייצוג מובהק בין הממציאים, יש פערים גיאוגרפיים משמעותיים בארצות הברית, וחברות קטנות זוכות לאחוזי אישור נמוכים משמעותית מתאגידים גדולים. מודל שינסה לחזות אישור פטנט עלול ללמוד את ההטיות האלו במקום את איכות ההמצאה.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
עמוד המאגר מציג cc-by-sa-4.0 שמתיר עקרונית שימוש כזה תחת שיתוף זהה, אך הטקסט של החוקרים קובע הגבלת NonCommercial. בגלל חוסר ההתאמה הזה, לא הייתי בונה על זה מוצר מסחרי סגור בלי בירור משפטי.
האם יש במאגר בקשות פטנט בעברית?
לא. כל הנתונים מגיעים מרשות הפטנטים של ארצות הברית והטקסט כולו כתוב באנגלית בלבד. יש בו אינדיקטורים להגשות זרות, אך המסמכים עצמם אינם מכילים עברית.
איך מחולק הדאטהסט ומה הנפח שלו?
הנתונים מאורגנים בארכיוני tar.gz לפי שנים מ־2004 עד 2018 ומכילים מיליוני קובצי JSON. אפשר לטעון דגימה קטנה של חודש בודד מינואר 2016 לצורך בדיקות, או לפרוס שנים ספציפיות לפי תאריכים מוגדרים מראש.
מאיפה הגיעו הנתונים והאם הם כוללים מידע אישי?
הטקסטים נמשכו מקובצי ה־XML הציבוריים של ה־USPTO ומטא-דאטה ממאגר המחקר של המשרד. המאגר כולל שמות מלאים של ממציאים, עורכי דין ובוחנים, אך כולם פרטים פומביים שזמינים ברשומות הפתוחות של הממשל.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות שימוש בסקריפט הטעינה ובקובץ מטא-דאטה בפורמט feather. המאגר כולל קובצי ארכיון מכווצים לפי שנים בפורמט tar.gz, כך שטעינה מלאה תדרוש שטח דיסק משמעותי. כדי לא לחנוק את האחסון, ההגדרה מאפשרת לבחור תת-קבוצה לדוגמה מינואר 2016 או להגדיר טווחי תאריכים מדויקים לאימון ואימות באמצעות force_extract. אין צורך באישור גישה מיוחד כדי להוריד את הקבצים.
from datasets import load_dataset
ds = load_dataset("HUPD/hupd")הרישיון
הרישיון הרשמי בעמוד הוא cc-by-sa-4.0, אך בטקסט עצמו המחברים מציינים שחרור תחת תנאי NonCommercial. סתירה זו מחייבת זהירות רבה לפני שימוש מסחרי. בכל מקרה נדרש ייחוס ליוצרים, וכל נגזרת או מודל שמתבסס ישירות על שיתוף הנתונים יחויב באותו רישיון פתוח תחת סעיף ה־ShareAlike.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון