ACL-OCL
קוד פתוחWINGNUSmit2022-11-15
המאגר כולל טקסט מלא ומטא-דאטה מעשרות אלפי מאמרים אקדמיים של ארגון ACL. הוא מתאים למי שחוקר ספרות מדעית בעיבוד שפה טבעית וזקוק ליותר מרק תקצירים.
- 8,325הורדות בחודש
- 51לייקים
מה זה
המאגר מאגד בתוכו כ־80 אלף פרסומים אקדמיים, פוסטרים ומאמרים מתוך מאגר ACL Anthology כפי שנאספו עד ספטמבר 2022. בניגוד לנתונים הרשמיים שמכילים לרוב תקצירים בלבד, כאן נסרקו קובצי ה־PDF המקוריים ועברו חילוץ אוטומטי מלא. כל רשומה מייצגת מאמר בודד, עם שדות כמו מזהה ייחודי, כותרת, מחברים, תקציר, טקסט מלא של המאמר, פרטי הכנס וההוצאה, וקישורים.
מקורות המידע העיקריים הם אתר ACL Anthology ונתוני ציטוטים שנלקחו מתוך Semantic Scholar. המידע כולל גם מזהי מאמר, מספר הציטוטים העדכני למועד האיסוף, וגיבוב של קובצי המקור. החומר הטקסטואלי חולץ באמצעות הכלי GROBID, מה שאומר שהמבנה משמר חלקים פנימיים ומראי מקום ישירות מגוף הפרסום ולא רק את המטא-דאטה היבש.
מתאים ל
- ניתוח מגמות מחקר
מעקב אחרי נושאי מחקר, ציטוטים ושיטות בעולם ה־NLP לאורך עשרות שנות פרסום.
- אימון מודלים לספרות מדעית
התאמת מודלי שפה להבנת טקסטים אקדמיים, מונחים טכניים ומבנה מאמרים.
- זיהוי ישויות בטקסט אקדמי
אימון מסווגים לחילוץ שמות חוקרים, מערכי נתונים ומדדים מתוך גוף המאמר.
איפה זה נופל
חילוץ הטקסט נעשה באמצעות כלי אוטומטי, ולכן יש לצפות לשגיאות פענוח בטבלאות, משוואות וקריאת עמודות. בנוסף, המידע מעודכן רק עד ספטמבר 2022, כך שכל הספרות המשמעותית סביב מודלי שפה שפורסמה מאז חסרה כאן. השפה המרכזית היא אנגלית, אם כי יש מעט סינית ושפות אחרות. עברית כמעט ולא קיימת כאן, למעט אזכורים ספורים במאמרים שעסקו בניתוח שפות שמיות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ להסתכן. התיאור של המאגר מציין רישיון CC BY-NC 4.0 שאוסר על שימוש מסחרי, למרות שבמטא-דאטה של Hugging Face סומן רישיון MIT. במקרה של סתירה כזו, בתי משפט נוטים להתחשב בתנאים המגבילים של היוצר.
האם המאגר כולל טקסטים בעברית?
כמעט בכלל לא. המאגר מורכב ממאמרים אקדמיים שפורסמו ב־ACL, והשפה השלטת בהם היא אנגלית. מאמרים בודדים עוסקים בעיבוד שפה טבעית לעברית, אך הטקסט עצמו כתוב באנגלית.
במה הוא שונה מ־ACL Anthology הרשמי?
האתר הרשמי של ACL מספק באופן חופשי בעיקר קובצי ביבטקסט ותקצירים. המאגר הזה עבר עיבוד בתוכנת GROBID שחילצה את הטקסט המלא מתוך קובצי ה־PDF, והוסיף נתוני ציטוטים מ־Semantic Scholar.
איך טוענים
המאגר זמין להורדה ישירה ללא צורך בהרשאה מיוחדת, כשטבלת הנתונים שוקלת כ־489 מגה-בייט. במאגר יש עשרות אלפי קובצי JSON המסודרים בתיקיות לפי קידומות המזהים של ACL. בעבודה מולו תסתמכו בעיקר על השדות full_text לחילוץ התוכן, abstract לתקציר, ו־numcitedby למדדי השפעה. אפשר לטעון אותו ישירות לפנדס כדאטהפריים או לעבוד עם קובצי ה־JSON המפוצלים.
from datasets import load_dataset
ds = load_dataset("WINGNUS/ACL-OCL")הרישיון
יש פער בעייתי ברישוי. בעוד שבראש הדף מוגדר רישיון MIT שמאפשר שימוש מסחרי חופשי, הטקסט והתג בכרטיס המאגר קובעים CC BY-NC 4.0. המשמעות היא איסור מוחלט על שימוש מסחרי ודרישה לייחוס יוצרים. אם אתם מאמנים מודל למוצר מסחרי, ההסתמכות על MIT מסוכנת ועלולה לחשוף אתכם לתביעות.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש