quati
קוד פתוחunicamp-dlcc-by-4.02024-03-25
מאגר לאיחזור מידע בפורטוגזית ברזילאית עם פסקאות מקוריות ושאילתות שנכתבו בידי דוברים ילידיים. הוא מיועד למי שבונה מנועי חיפוש או מערכות שליפה לשוק הברזילאי ורוצה נתוני הערכה אמינים.
- 478הורדות בחודש
- 36לייקים
מה זה
המאגר כולל פסקאות טקסט מתוך רשת האינטרנט ושאילתות בפורטוגזית ברזילאית, יחד עם תיוגי רלוונטיות (qrels) שמצביעים איזה קטע עונה על איזו שאילתה. לפי מזהי הפסקאות, המקור שלהן מגיע ממאגר ClueWeb22, והשאילתות נכתבו במיוחד על ידי דוברי השפה ולא תורגמו ממקור אנגלי.
הנתונים מחולקים לשתי גרסאות גודל: גרסה אחת של מיליון פסקאות וגרסה שנייה של עשרה מיליון פסקאות. בגרסת העשרה מיליון המידע מחולק לחמישה קובצי tsv נפרדים, כשכל חלק מחזיק שני מיליון רשומות. לצד הפסקאות יש קבצים נפרדים לשאילתות (topics) וקבצי התיוגים שמחברים ביניהן לצורך מדידת דיוק.
מתאים ל
- בנצ'מרק למנועי חיפוש
מדידת ביצועים של מודלי איחזור ודירוג מסמכים מול 50 שאילתות מתויגות בפורטוגזית.
- בניית אינדקס טקסטואלי
שימוש במיליון או עשרה מיליון פסקאות ליצירת אינדקס חיפוש וקטורי או לקסיקלי.
- פיתוח צינורות תיוג
שימוש בתשתית המאגר כדי להרחיב את כמות השאילתות המתויגות לשפות נוספות.
איפה זה נופל
הנתונים מוגבלים לחלוטין לפורטוגזית ברזילאית, כך שאין כאן שום כיסוי לעברית או שפות אחרות. מעבר לכך, מערך התיוג הנוכחי קטן מאוד ומכיל תיוגי ולידציה לחמישים שאילתות בלבד, כך שהוא מתאים כרגע בעיקר לבדיקה והערכה של מערכות קיימות ולא לאימון מודלים כבדים מאפס. כמות הפסקאות המתויגות עומדת בממוצע על 97.78 לשאילתה בגרסה הגדולה ועל 38.66 בגרסה הקטנה.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה במוצר מסחרי?
כן. רישיון CC BY 4.0 מתיר שימוש מסחרי מלא, כולל אימון מודלים והטמעה במערכות פנימיות. התנאי היחיד הוא מתן קרדיט ברור ליוצרים המקוריים.
האם יש במאגר טקסטים בעברית?
לא. המאגר נבנה כולו בפורטוגזית ברזילאית ומתמקד אך ורק בה. אין בו תוכן בעברית או תמיכה בריבוי שפות.
כמה שאילתות מתויגות יש בפועל?
החוקרים שחררו כרגע תיוגים עבור 50 שאילתות בלבד לצורכי ולידציה. בגרסת העשרה מיליון יש בממוצע 97.78 פסקאות מתויגות לשאילתה, ובגרסת המיליון 38.66 פסקאות.
במה הוא שונה מדאטהסטים אחרים של שאילתות ותשובות?
רוב המאגרים בשפות שאינן אנגלית נשענים על תרגום מכונה של שאילתות מוכרות כמו MS MARCO. כאן השאילתות נכתבו מהיסוד בידי דוברים ילידיים של פורטוגזית ברזילאית והפסקאות נלקחו ממקורות אותנטיים ברשת.
איך טוענים
טוענים את המידע דרך load_dataset של Hugging Face או באמצעות שכפול הריפו בגיט. אפשר למשוך ישירות חלקים ספציפיים, למשל רק את השאילתות, התיוגים או אחד מחמשת חלקי הפסקאות של גרסת העשרה מיליון, כדי לא להעמיס את הזיכרון. אין צורך לבקש אישור גישה מיוחד והנתונים פתוחים להורדה. השדות העיקריים שתעבדו איתם הם query_id ושאילתת הטקסט, passage_id והטקסט של הפסקה, וציון רלוונטיות ביניהם.
from datasets import load_dataset
ds = load_dataset("unicamp-dl/quati")הרישיון
המאגר משוחרר ברישיון CC BY 4.0 חופשי. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, לאמן עליו מודלים ולהפיץ אותו הלאה, כל עוד נותנים קרדיט מלא ליוצרים לפי דרישות הרישיון. אין חובה לפתוח את הקוד שלכם או לשחרר מוצרים נגזרים באותו רישיון בדיוק.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס