T2Ranking
קוד פתוחTHUIRapache-2.02023-04-04
מאגר נרחב לאיחזור ודירוג פסקאות בסינית עם מעל 300 אלף שאילתות אמיתיות ויותר מ־2 מיליון פסקאות. הוא מתאים למי שבונה מנועי חיפוש או מודלי דירוג בשפה הסינית ומחפש חלופה ל־MS MARCO.
- 1,085הורדות בחודש
- 36לייקים
מה זה
המאגר מבוסס על שאילתות חיפוש אמיתיות מיומני השימוש של מנוע החיפוש Sogou בסין. עבור כל שאילתה נאספו מסמכים ממספר מנועי חיפוש מסחריים, חולקו לפסקאות באמצעות מודל ייעודי ועברו סינון כפילויות מבוסס אשכולות כדי לבנות קורפוס של 2,303,643 פסקאות ייחודיות. מתייגים מומחים דירגו את מידת הרלוונטיות של כל זוג שאילתה ופסקה בארבע רמות שונות, לצד שימוש בלמידה אקטיבית לייעול התהליך.
הנתונים מחולקים למערכי אימון, פיתוח ומבחן. מערך האימון כולל 258,042 שאילתות וקובצי דוגמאות שליליות שנכרו בעזרת BM25 ומודלים צפופים בהיקף של מעל 200 מיליון רשומות בכל קובץ. מערכי הפיתוח והמבחן מכילים 24,832 שאילתות כל אחד, עם קובצי qrels תואמים למשימות שליפה ראשונית ודירוג מחדש.
מתאים ל
- אימון מקודדים לשליפה
אימון מודלי dual-encoder ושליפה צפופה בסינית באמצעות דוגמאות שליליות קשות מובנות.
- דירוג מחדש של תוצאות
פיתוח מודלי cross-encoder לדירוג מדויק של פסקאות לפי ארבע רמות רלוונטיות שנבדקו.
- בנצ'מרק למנועי חיפוש
הערכת ביצועי מנועי חיפוש מבוססי BM25 ושליפה סמנטית על גבי שאילתות משתמשים אמיתיות.
איפה זה נופל
המאגר כולו בסינית בלבד, כך שהוא לא רלוונטי למי שמפתח מערכות בעברית או באנגלית. השאילתות מבוססות על שאלות ממשתמשי מנוע חיפוש אחד ספציפי, מה שעלול ליצור הטיה לכיוון דפוסי הניסוח וההרגלים של אותו קהל משתמשים. נוסף על כך, החלוקה לפסקאות בוצעה בעזרת מודל אוטומטי, כך שייתכנו שגיאות חיתוך ופגיעה ברצף הטקסט המקורי.
שאלות
נפוצות
האם המאגר מתאים לפיתוח מנוע חיפוש בעברית?
לא. כל הטקסטים, השאילתות והפסקאות במאגר הם בסינית בלבד שנאספו מרשת האינטרנט הסינית וממנוע החיפוש Sogou. אין בו נתונים רב-לשוניים או תמיכה בעברית.
האם מותר להשתמש בנתונים האלה למוצר מסחרי?
כן. הרישיון המוגדר במאגר הוא Apache 2.0, שמאפשר שימוש מסחרי חופשי בקוד ובנתונים. עליכם לכלול עותק של הרישיון ומתן קרדיט ליוצרים המקוריים.
מה הגודל של המאגר מבחינת נפח ורשומות?
קורפוס הטקסט כולל 2,303,643 פסקאות ויותר מ־300 אלף שאילתות. קובצי הלימוד כוללים גם שני קובצי ענק של דוגמאות שליליות עם מעל 200 מיליון שורות בכל אחד, מה שדורש משאבי אחסון ועיבוד כבדים.
כיצד נאספו תוויות הרלוונטיות במאגר?
התוויות נבנו על ידי מתייגים אנושיים שסיפקו ציוני רלוונטיות בארבע רמות שונות עבור זוגות של שאילתה ופסקה. התהליך שילב למידה אקטיבית ואיסוף תוצאות ממספר מנועי חיפוש מסחריים כדי לצמצם תוצאות שליליות שגויות.
איך טוענים
מורידים את המאגר ישירות בעזרת git lfs clone ללא צורך בהרשאה מוקדמת. כל המידע שמור בקובצי tsv פשוטים ובפורמט TREC qrels סטנדרטי. קובץ הפסקאות collection.tsv מכיל את המזהים והטקסט, בעוד קובצי השאילתות מכילים מזהה ושאילתה. שימו לב שקובצי הדוגמאות השליליות מכילים מאות מיליוני שורות, כך שצריך שטח אחסון וזיכרון משמעותיים לפני שמתחילים לטעון אותם לתוך מודלי אימון מקומיים.
from datasets import load_dataset
ds = load_dataset("THUIR/T2Ranking")הרישיון
המאגר מופץ תחת רישיון Apache 2.0 המאפשר שימוש מסחרי, שינוי והפצה חופשית של הנתונים. הרישיון דורש מתן קרדיט ושמירה על הודעת הרישיון המקורית, אך אינו מחייב שיתוף של מודלים שאומנו עליו תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים