scitldr
קוד פתוחallenaiunknown2022-03-02
תמצות קיצוני של מאמרים מדעיים למשפט בודד עם מטרות מרובות שנכתבו בידי מחברים ומומחים. מתאים למי שרוצה לאמן מודלים על הפקת תקצירים קצרים ומדויקים במיוחד מתוך טקסט אקדמי מורכב.
- 805הורדות בחודש
- 35לייקים
מה זה
המאגר מכיל 5.4K סיכומים מסוג TLDR שנאספו על פני 3.2K מאמרים. כל רשומה כוללת את מזהה המאמר מ־ArXiv, כותרת, חלוקת הטקסט המקורי למשפטים, ציוני ROUGE-1 מחושבים מראש, סימונים בינאריים למשפטי מפתח ומערך יעדים שמכיל מספר סיכומים חלופיים.
הסיכומים מגיעים משני מקורות: המחברים של המאמרים עצמם ומומחים שעיבדו ביקורות עמיתים. תהליך התיוג של המומחים התבסס על הכותרת ועל 128 המילים הראשונות של חוות דעת השופטים, מתוכן נוסח מחדש סיכום של משפט בודד באורך ממוצע של 20 מילים, לרוב בין 15 ל־25 מילים.
הנתונים מגיעים בשלוש תצורות קלט שונות: SciTLDR-A שמבוסס על האבסטרקט בלבד, SciTLDR-AIC שכולל תקציר, מבוא ומסקנות, ו־SciTLDR-FullText שמכיל את הטקסט המלא. בכל אחת מהתצורות יש חלוקה קבועה של 1992 דוגמאות באימון, 618 באימות ו־619 בבחינה.
מתאים ל
- אימון מודל לתמצות קיצוני
לימוד יצירה של סיכום באורך משפט אחד מתוך טקסטים אקדמיים ארוכים באנגלית.
- הערכת ביצועי מודלי שפה
בדיקת איכות תקצירים מול כמה גרסאות סיכום שונות לכל מאמר.
- חילוץ משפטי מפתח
שימוש בתגיות הבינאריות המוכנות כדי לזהות את המשפטים החשובים ביותר במקור.
איפה זה נופל
הטקסטים כולם באנגלית בלבד ועוסקים בספרות מדעית, בלי ייצוג לתחומים אחרים או לשפות נוספות. הכרטיס לא מפרט את ההטיות הקיימות, את אופן בחירת המאמרים המקוריים או מיהם המתייגים המדויקים, למעט הפניה כללית ל־allenai. כיוון שהסיכומים קצרים מאוד ומבוססים בין היתר על 128 המילים הראשונות של חוות דעת, הם עלולים לפספס פרטים טכניים מהותיים מתוך גוף המחקר. מודל שיאומן כאן ילמד להפיק משפט בודד וידרוש התאמה אם המטרה היא יצירת סיכומים מפורטים.
שאלות
נפוצות
האם המאגר כולל טקסטים בעברית?
לא. כל הנתונים במאגר מבוססים על מאמרים וביקורות באנגלית בלבד.
מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
הכרטיס מציין רישיון Apache License 2.0 שמתיר שימוש מסחרי עם ייחוס, אך המטא-דאטה בעמוד מוגדר כלא ידוע. מומלץ לבדוק את הרישיון במאגר הגיטהאב של allenai כדי לוודא שאין סתירה משפטית.
איך נאספו הסיכומים שבמאגר?
הסיכומים מורכבים משני סוגים. חלקם נכתבו ישירות על ידי מחברי המאמרים, וחלקם עובדו על ידי מומחים שקיבלו את הכותרת ו־128 המילים הראשונות מתוך ביקורת עמיתים וניסחו אותן מחדש למשפט יחיד.
מה ההבדל בין שלושת החלקים של המאגר?
מדובר באותם מאמרים ואותם סיכומי יעד, כשההבדל הוא בטקסט המקור שמסופק למודל. חלק אחד מציג את התקציר בלבד, השני את התקציר, המבוא והמסקנות, והשלישי כולל את המאמר המלא.
איך טוענים
טוענים את הנתונים דרך ספריית datasets באמצעות הקריאה הרגילה לשם המאגר. המאגר כולל ארבעה קבצים, ביניהם סקריפט הטעינה scitldr.py, ואינו דורש הרשאה מיוחדת או אישור גישה מראש. הקבצים מפורמטים כ־JSON Lines שבהם כל שורה מייצגת מאמר. השדות שחובה להכיר הם source שמכיל את רשימת המשפטים מהמאמר, ו־target שמספק רשימה של סיכומי ייחוס. השדות rouge_scores ו־source_labels נועדו בעיקר למחקר ומודלי חילוץ, ואינם הכרחיים להרצת אימון בסיסי.
from datasets import load_dataset
ds = load_dataset("allenai/scitldr")הרישיון
במטא-דאטה של העמוד הרישיון מוגדר unknown, אך בתוך הטקסט של כרטיס התיעוד נכתב Apache License 2.0. רישיון אפאצ'י מתיר שימוש מסחרי, שינוי והפצה תחת ייחוס מתאים, אך הסתירה בין השדות דורשת בדיקה ב־GitHub של הפרויקט לפני שמשלבים את המידע באימון מודל מסחרי.