s2orc
קוד פתוחsentence-transformersרישיון לא דווח2024-05-03
מאגר ענק של זוגות טקסט מתוך מאמרים אקדמיים שנבנה לאימון מודלי שיבוץ. הוא מיועד למי שמפתח מודל sentence-transformers וצריך נתונים לקשר סמנטי בין כותרות, תקצירים וציטוטים.
- 3,125הורדות בחודש
- 18לייקים
מה זה
הנתונים מגיעים מתוך Semantic Scholar Open Research Corpus ונלקחו במקור ממאגר נתוני האימון של sentence-transformers. כל רשומה מורכבת מזוג מחרוזות טקסט בלבד, ללא מטא-דאטה נוסף. הכרטיס מצהיר בפירוש שהנתונים לא עברו ניקוי כפילויות.
המאגר מחולק לשלושה תתי-אוספים לפי סוגי הזוגות: כותרת מול תקציר, כותרת מול ציטוט, ותקציר מול ציטוט. בזוגות שכוללים ציטוטים, הדגימה נוצרה מחיבור הכותרת או הציטוט עם הרשומה הראשונה המתאימה לה. לפי הניסויים של מפרסמי הדאטהסט, הזוגות של כותרת ותקציר מניבים את הביצועים הגבוהים ביותר באימון, אחריהם כותרת וציטוט, ובסוף תקציר וציטוט.
מתאים ל
- אימון מודלי שיבוץ
אימון מודלים של sentence-transformers על זוגות של כותרת ותקציר לצורך התאמה סמנטית.
- חיפוש מאמרים אקדמיים
בניית מנוע אחזור שמתאים שאילתות או כותרות אל תקצירים וציטוטים מדעיים.
- ניתוח רשתות ציטוט
הערכה ויצירה של ייצוגים וקטוריים לקשרים שבין תוכן מאמר לבין המקורות המצוטטים בו.
איפה זה נופל
הנתונים באנגלית בלבד ומוגבלים לשפה של ספרות מדעית ומחקר, כך שהם לא משקפים שיח יומיומי, עברית או חיפוש כללי. אין כאן סינון כפילויות, מה שעלול לייצר הטיה לטובת מאמרים שמצוטטים שוב ושוב. מעבר לכך, מדובר רק בזוגות טקסט קצרים ללא תוכן המאמר המלא.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה לפרויקט מסחרי?
כרגע לא ידוע, כי המפרסם לא דיווח על רישיון בדף המאגר. מודל שאומן על נתונים ללא רישיון ברור חושף אתכם לסיכון משפטי. צריך לבדוק את תנאי המקור של מאגר S2ORC לפני שמשתמשים בו במוצר מסחרי.
האם הדאטהסט כולל טקסטים בעברית?
לא. המאגר כולל אך ורק מאמרים באנגלית. אם אתם מחפשים לאמן מודל לעברית, הדאטהסט הזה לא מתאים.
איך נאספו הזוגות של הציטוטים?
הזוגות נלקחו מתוך מאגר embedding-training-data הקיים של sentence-transformers. בתת-האוספים של הציטוטים, החוקרים חיברו כל כותרת או ציטוט יחד עם התקציר או הציטוט הראשון שנמצא עבורם.
כמה רשומות יש במאגר ואיך הוא בנוי?
המאגר מכיל בין 100 מיליון למיליארד רשומות, ומחולק ליותר מ־1,800 קובצי arrow. הוא מפוצל לשלושה תתי-אוספים נפרדים לפי סוגי הזוגות, כך שאפשר לטעון רק את החלק הרלוונטי למשימה שלכם.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets על ידי ציון שם המאגר ובחירת תת-האוסף הרצוי. אין צורך בבקשת גישה מיוחדת, והקבצים שמורים בפורמט arrow הפרוס על פני 1,812 קבצים. מדובר במאגר בהיקף של מעל מאה מיליון רשומות, כך שהורדה וטעינה מלאה דורשות נפח אחסון משמעותי והיערכות לעבודה עם קבצים מפוצלים.
from datasets import load_dataset
ds = load_dataset("sentence-transformers/s2orc")הרישיון
הרישיון של המאגר לא דווח. בפועל, אי אפשר לדעת אם מותר להשתמש בו לצרכים מסחריים או מה המגבלות על מודל שאומן עליו. לפני שמשלבים אותו בפרויקט עסקי, חובה לברר את תנאי הרישיון המקוריים של S2ORC כדי לא להסתכן בהפרת זכויות יוצרים.