messirve
קוד פתוחspanish-ircc-by-nc-4.02024-05-08
מאגר נרחב לאחזור מידע בספרדית שמחבר שאילתות השלמה אוטומטית של גוגל לפסקאות מוויקיפדיה. מתאים למי שבונה מנועי חיפוש ומחפש התאמה לפי מדינות דוברות ספרדית.
- 839הורדות בחודש
- 20לייקים
מה זה
המאגר מכיל שאילתות שנאספו מממשק ההשלמה האוטומטית של גוגל, ומקשר אותן לפסקאות מתוך ויקיפדיה בספרדית שהופיעו בתור קטעי מידע נבחרים בתוצאות החיפוש. כל רשומה כוללת את מזהה השאילתה, הטקסט שלה, מזהה המסמך, טקסט הפסקה הרלוונטית, תאריכי איסוף, מדד התאמה בין תשובת החיפוש לפסקה וסוג התשובה.
האיסוף בוצע עבור 20 מדינות שבהן ספרדית היא שפה רשמית, לצד ארצות הברית. ישנה חלוקה לקבצים לפי קודי מדינות כמו ארגנטינה, בוליביה, צ'ילה וקולומביה, בנוסף לחלק של שאילתות כלליות ללא שיוך גיאוגרפי ותת קבוצה מלאה שמאחדת את כולן. בתת הקבוצה המלאה שאילתה בודדת יכולה להכיל כמה מסמכים רלוונטיים אם מדינות שונות החזירו קטעי מידע שונים.
החלוקה לאימון ולבדיקה נעשתה ברמת המאמר בוויקיפדיה, כך שכל מאמר מופיע רק באחד מהחלקים וכעשרים אחוזים מהמאמרים הוקצו למבחן. נתוני הבדיקה סוננו במיוחד וכוללים רק רשומות עם ציון התאמה מושלם וללא הרחבת חיפוש של מנוע החיפוש.
מתאים ל
- אימון מודלי אחזור בספרדית
אימון צפוף או דליל של מודלים לאחזור פסקאות לפי שאילתות חיפוש אותנטיות של משתמשים.
- הערכת ביצועים לפי מדינות
בדיקת התנהגות מנוע חיפוש ודיוק אחזור מול וריאציות ניסוח של שאילתות ממדינות שונות.
- התאמת תוצאות לקטעי מידע
למידה כיצד לזהות ולחלץ פסקאות קצרות שעונות ישירות על שאלות ממשתמשי גוגל.
איפה זה נופל
המאגר מוגבל לשפה הספרדית בלבד ואינו מכיל עברית או שפות אחרות. הנתונים מבוססים על תוצאות חיפוש מוויקיפדיה בלבד שנאספו בתחילת 2024, ולכן אינם משקפים מסמכים ממקורות רשת מגוונים או מידע שהתעדכן לאחר מכן. גינאה המשוונית נשארה בחוץ מכיוון שאין לה דומיין מקומי בגוגל. בנתוני האימון ציון ההתאמה אינו תמיד מושלם וישנם מקרים של הרחבת חיפוש, כך שחובה לסנן את השדות match_score ו־expanded_search לפני שמחליטים להשתמש ברשומות.
שאלות
נפוצות
האם מותר להשתמש במאגר במוצר מסחרי?
לא. הרישיון הוא cc-by-nc-4.0 וכרטיס המאגר מציין במפורש שאסור לעשות בו כל שימוש מסחרי. זה כולל אימון מודל שנמכר כשירות או שמשולב בתוך מוצר רווחי.
האם יש במאגר תמיכה בשפה העברית?
אין במאגר עברית בכלל. כל השאילתות והפסקאות נאספו בספרדית מתוך ויקיפדיה בספרדית ודומיינים מקומיים של גוגל.
איך הנתונים נאספו ונבדקו?
השאילתות הגיעו מממשק ההשלמה האוטומטית של גוגל במדינות דוברות ספרדית. הפסקאות נלקחו מקטעי המידע הנבחרים שגוגל הציג מתוך ויקיפדיה, כאשר בפיצול המבחן נשמרו רק התאמות מלאות לחלוטין.
במה הוא שונה ממאגרים כלליים לאחזור מידע?
הוא מתמקד באופן ייחודי בצרכי חיפוש של דוברי ספרדית לפי חלוקה גיאוגרפית של 21 מדינות. במקום מסמכים כלליים, הוא ממפה שאילתות ספציפיות ישירות לפסקאות תואמות מוויקיפדיה.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות ציון המזהה, קוד המדינה המבוקש או full, ומספר הגרסה. הקבצים שמורים בפורמט parquet ומחולקים לפי מדינות ופיצולי אימון ובדיקה. אין צורך באישור גישה מיוחד כדי להוריד את הקבצים. שדות המפתח לעבודה כוללים את query, docid_text, וכן match_score שעוזר להבין את רמת הדיוק של ההתאמה מול תוצאת החיפוש המקורית.
from datasets import load_dataset
ds = load_dataset("spanish-ir/messirve")הרישיון
הרישיון המדווח הוא cc-by-nc-4.0. המשמעות פשוטה: אין להשתמש במאגר, בחלקים ממנו או במודל שאומן עליו לכל מטרה מסחרית. השימוש מותר אך ורק למחקר או לפרויקטים לא מסחריים, תוך מתן קרדיט מתאים ליוצרים.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא