booksum-complete-cleaned
קוד פתוחubaadaרישיון לא דווח2023-10-28
המאגר כולל טקסטים מלאים של ספרים ופרקים לצד תקצירים ממקורות שונים. הוא מתאים למי שמאמן מודלים לתמצות טקסטים ארוכים במיוחד ורוצה גרסה נקייה יותר של BookSum המקורי.
- 514הורדות בחודש
- 21לייקים
מה זה
הנתונים מבוססים על מאגר BookSum ומכילים שני חלקים נפרדים, ספרים שלמים ופרקים בודדים. בניגוד לגרסאות קודמות ברשת שהכילו רק פרקים, כאן נכללים שני הגדלים. היוצר ניקה התאמות שגויות בין טקסט לתקציר והסיר עמודות מיותרות כדי לצמצם את השורות למינימום הנדרש.
כל רשומה כוללת את הטקסט המקורי, מזהה ספר ושם, ומערך של תקצירים שנאספו ממקורות שונים שכולל טקסט סיכום וניתוח. בחלק הפרקים יש גם חיווי האם מדובר באיחוד של מספר פרקים. באימון של חלוקת הפרקים יש 178 תקצירים חסרים, אך בשאר החלוקות העיבוד עומד על מאה אחוזים.
מתאים ל
- תמצות נרטיבי ארוך
אימון מודלים להתמודדות עם הקשר רחב על ידי קריאת ספר שלם והפקת תמצית עלילתית.
- סיכום פרקים נקודתי
הערכת ביצועי מודל על מקטעים באורך בינוני תוך השוואה לכמה תקצירי ייחוס שונים במקביל.
- הפקת ניתוחים ספרותיים
שימוש בשדות הניתוח המצורפים לתקצירים כדי ללמד מודל לחלץ תובנות על דמויות ועלילה.
איפה זה נופל
כל הטקסטים והתקצירים הם באנגלית בלבד, ואין כאן נתונים בעברית. מדובר בטקסטים ספרותיים ארוכים, מה שאומר שהמבנה והשפה שונים לחלוטין משיחות צ'אט, מסמכים משפטיים או כתבות חדשותיות. בנוסף, בסט האימון של הפרקים חסרים 178 תקצירים שלא עברו עיבוד. מי שבונה מוצר צריך לקחת בחשבון שריבוי התקצירים לכל פרק דורש החלטה הנדסית איזה תקציר נבחר כרפרנס.
שאלות
נפוצות
האם המאגר כולל טקסטים בעברית?
לא. כל הספרים והתקצירים במאגר כתובים באנגלית בלבד. לא קיימים בו תרגומים או עיבודים לשפות אחרות.
מותר להשתמש בנתונים האלה למוצר מסחרי?
המאגר מפורסם ללא רישיון מוצהר. במצב כזה אין אישור שימוש רשמי, ולכן לא מומלץ להסתמך עליו במוצר מסחרי ללא בירור משפטי של מקורות הטקסט.
במה הוא שונה מגרסאות BookSum אחרות?
הוא מכיל גם ספרים מלאים וגם פרקים, בעוד גרסאות מסוימות כוללות רק פרקים. בנוסף, היוצר ניקה שגיאות בהתאמת התקצירים והסיר עמודות מיותרות.
איך טוענים
טוענים את הנתונים דרך ספריית datasets בגרסה 2.14.0 ומעלה, באמצעות קריאה ליוצר ubaada/booksum-complete-cleaned ובחירת הקונפיגורציה הרצויה, books או chapters. המאגר פתוח ואינו דורש אישור גישה מראש. הקבצים שמורים בפורמט jsonl. שדה התקציר מחזיר רשימה של אובייקטים ולא מחרוזת בודדת, ולכן צריך לבחור אינדקס ספציפי, למשל התקציר הראשון, לפני שמעבירים את הטקסט למודל.
from datasets import load_dataset
ds = load_dataset("ubaada/booksum-complete-cleaned")הרישיון
היוצר לא דיווח על רישיון בעמוד המאגר. מבחינה משפטית, היעדר רישיון מוגדר משאיר את זכויות היוצרים מעורפלות ואינו מעניק היתר שימוש מפורש. אם אתם מתכננים להשתמש בזה למטרות מסחריות או להפיץ מודל שאומן על הנתונים האלה, מדובר בסיכון שדורש בדיקה משפטית מול מקורות היצירות המקוריות.