msmarco

מה זה

המאגר מציג עיבוד מחדש של סט הנתונים מבית מיקרוסופט כחלק מפרויקט BEIR, ומיועד למשימות של אחזור מידע וסיווג. המבנה שלו מורכב משני חלקים נפרדים. החלק הראשון הוא קורפוס טקסטים עצום שמכיל 8,841,823 מסמכים. החלק השני מכיל 509,962 שאילתות חיפוש שנאספו סביב אותם תכנים.

המבנה של כל רשומה פשוט ועקבי, בין אם מדובר במסמך ובין אם בשאילתה. כל שורה מכילה מזהה ייחודי מסוג מחרוזת, שדה כותרת שלעתים נשאר ריק כשאין נתון זמין, ושדה טקסט שמחזיק את גוף המסמך או את תוכן השאילתה. הנתונים המקוריים נלקחו מהפרויקט של מיקרוסופט, אך הכרטיס הנוכחי לא מפרט אילו שינויי סינון או ניקוי בוצעו עליהם מעבר להתאמה למבנה האחיד של הבנצ'מרק.

מתאים ל

• הערכת מודלי אחזור

  מדידת ביצועים של מודלי חיפוש ודירוג על קורפוס ענק מול שאילתות מוגדרות.

• אימון מקודדי טקסט

  שימוש בזוגות של שאילתות ומסמכים כדי לאמן מודלים ליצירת וקטורים צפופים.

• בדיקת ביצועי אינדוקס

  בחינת מהירות חיפוש ומגבלות זיכרון על מאגר אמיתי של קרוב לתשעה מיליון רשומות.

איפה זה נופל

כל הטקסטים כאן הם באנגלית בלבד. אם אתם בונים מנוע חיפוש בעברית, הנתונים האלה לא יעזרו לכם לאימון ישיר בלי התאמות חיצוניות. בנוסף, הכרטיס לא מדווח על בדיקות רעילות, הטיות חברתיות, או מגבלות דגימה של השאילתות המקוריות, וגם לא מפרט את טווח התאריכים המדויק שבו הטקסטים נאספו.

איך טוענים

הנתונים מחולקים לקובצי Parquet עבור הקורפוס ועבור השאילתות, כך שניתן לטעון אותם בספריות סטנדרטיות בלי לבקש אישורי גישה מיוחדים. יש לקחת בחשבון שמדובר ביותר מ־8.8 מיליון רשומות בקורפוס, כך ששמירה בזיכרון או יצירת אינדקס וקטורי מלא ידרשו משאבי מחשוב רציניים ונפח אחסון פנוי. השדות המרכזיים שמעניינים אתכם הם _id לצורך התאמות ו־text לצורך יצירת שיכונים וחיפוש.

from datasets import load_dataset

ds = load_dataset("BeIR/msmarco")

הרישיון

המאגר מופץ תחת רישיון cc-by-sa-4.0. הרישיון מתיר שימוש מסחרי, אך הוא דורש מתן קרדיט מתאים ומחייב שכל יצירה נגזרת שתפיצו תחת אותו מאגר תשותף תחת תנאי רישיון זהים. אם אתם מאמנים מודל על הנתונים הללו, עליכם לבדוק משפטית כיצד דרישת השיתוף הזהה חלה על משקלי המודל שנוצר.

• שימוש מסחרי
• שינוי הקוד
• חובת שיתוף באותו רישיון

הרישיון המלא ב־Hugging Face ↗