patent-classification
קוד פתוחccdvרישיון לא דווח2022-03-02
המאגר מרכז 35 אלף פטנטים ותקצירים באנגלית שמחולקים לתשע קטגוריות לא מאוזנות. הוא נבנה במיוחד כדי לבחון מודלים של סיווג טקסט על מסמכים ארוכים שעוברים את רף 512 הטוקנים.
- 792הורדות בחודש
- 30לייקים
מה זה
הנתונים נלקחו מתוך BIGPATENT, מאגר שנוצר במקור למשימות תמצות של פטנטים. הדגימה הזו כוללת 35 אלף רשומות שמיועדות למשימת סיווג טקסט לעשרות קטגוריות שונות, כאשר החלוקה היא לתשע מחלקות לא מאוזנות בהיקפן. המבנה מחולק לשלושה חלקים מוכנים: אימון עם 25 אלף מסמכים, אימות עם חמשת אלפים ובדיקה עם חמשת אלפים נוספים.
בתוך המאגר יש הפרדה בין שתי תצורות שונות של המידע, אחת מבוססת על תקצירי הפטנטים והשנייה על תוכן הפטנט המלא. הטקסטים המלאים ארוכים מ־512 טוקנים, ולכן הם מאתגרים מודלים סטנדרטיים. כל המסמכים עברו עיבוד מוקדם על ידי היוצרים: האותיות הומרו לאותיות קטנות בלבד (uncased), והטקסט מופרד ברווחים.
מתאים ל
- סיווג מסמכים ארוכים
בדיקת ביצועים של מודלים שמסוגלים לקרוא טקסטים של מעבר ל־512 טוקנים ברצף.
- אימון על טקסט לא מאוזן
פיתוח אלגוריתמים שיודעים להתמודד עם חלוקה לא שווה של תשע קטגוריות שונות.
- מיון תקצירי פטנטים
אימון מודלים מהירים על טקסטים קצרים מתוך גרסת התקצירים של המאגר.
איפה זה נופל
הטקסט כולו באנגלית טכנית ומשפטית, כך שאין כאן שום ייצוג לעברית או לתחומים שאינם פטנטים. כל האותיות הומרו לקטנות, מה שמוחק שמות מותגים, ראשי תיבות ונוסחאות כימיות שעשויות להיות קריטיות לזיהוי. תשע המחלקות אינן מאוזנות, מה שמחייב שימוש במדדים שמתחשבים בהטיה ולא להסתמך על דיוק פשוט. בנוסף, לא מצוין באילו שנים הפטנטים פורסמו.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ בכלל כרגע. בעמוד המאגר לא דווח שום רישיון שימוש, ולכן מבחינה משפטית אין היתר לשימוש מסחרי או שילוב במוצר. תצטרכו לפנות לרישיון המקורי של BIGPATENT כדי לבדוק אם יש להם תנאים שמאפשרים זאת.
האם יש במאגר מסמכים בעברית?
לא, המאגר מוגדר כבעל שפה אחת בלבד שהיא אנגלית. כל 35 אלף הרשומות מורכבות מפטנטים באנגלית שעברו המרה לאותיות קטנות. אם אתם מחפשים לאמן מערכת לפטנטים ישראליים, המאגר הזה לא ייתן לכם מענה.
איך הנתונים נאספו ונערכו?
החוקרים דגמו את הרשומות מתוך BIGPATENT, מאגר שמיועד במקור למשימות תמצות. הם חילקו אותו לקבוצות אימון, בדיקה ואימות, ויצרו גרסאות נפרדות לתקציר ולמסמך המלא. בנוסף, הם עיבדו את כל הטקסטים לאותיות קטנות והפרידו מילים ברווחים.
מה ההבדל בין הטקסט המלא לתקציר במאגר?
המאגר כולל קבצים נפרדים לשתי התצורות. התקציר הוא קצר ומתאים למודלים רגילים, בעוד שהמסמך המלא ארוך מ־512 טוקנים. ההבדל הזה מאפשר להשוות דיוק של מודל כשהוא מקבל רק את התמצית לעומת היכולת שלו להתמודד עם הקשר ארוך.
איך טוענים
המאגר שמור בפורמט Parquet פתוח ונגיש ישירות דרך ספריית datasets בלי צורך באישור גישה או מפתח מיוחד. שמונה קבצים מרכיבים אותו, והם מסודרים בשתי תיקיות נפרדות עבור תקצירים ועבור פטנטים מלאים, לצד קובץ התיעוד.
היוצרים בנו אותו כך שיתאים להרצה ישירה עם הסקריפט run_glue של Hugging Face עבור מודלים כמו RoBERTa. לפני שמתחילים להריץ, צריך להחליט אם עובדים על התקציר הקצר או על הפטנט המלא. אם בוחרים בפטנט המלא, חייבים להגדיר חלון הקשר מתאים או לחתוך את הטקסט, כי הוא חורג מ־512 טוקנים.
from datasets import load_dataset
ds = load_dataset("ccdv/patent-classification")הרישיון
היוצרים לא הגדירו רישיון בכרטיס המאגר. מבחינה מעשית זה אומר שאין לכם שום הרשאה מפורשת להשתמש בנתונים, לא לפיתוח מסחרי ולא לאימון מודל שיופץ הלאה. אם החברה שלכם רגישה לקניין רוחני, כדאי לבדוק את הרישיון המקורי של פרויקט BIGPATENT לפני שנוגעים בקבצים.