M-BEIR
קוד פתוחTIGER-Labmit2023-12-01
מאגר לאימון והערכה של מנועי אחזור מולטימודליים, שמשלב טקסט ותמונות. הוא מרכז מיליון וחצי שאילתות ומאגר מועמדים של 5.6 מיליון פריטים עם הוראות אנושיות לשמונה משימות שונות.
- 2,560הורדות בחודש
- 27לייקים
מה זה
המאגר מאחד נתונים מעשרה מקורות שונים כמו CIRR, EDIS ו־Fashion200k לכדי פורמט אחיד של משימות אחזור. המבנה מחולק לחמישה רכיבים: קובצי שאילתות, מאגרי מועמדים לשליפה, הנחיות טקסטואליות, קובצי תוויות רלוונטיות לתיוג (qrels), וקבצי התמונות עצמם.
קובצי השאילתות מגיעים בפורמט JSONL ומכילים מזהה, טקסט השאילתה, נתיב לתמונה, סוג המודליות (טקסט, תמונה או שילוב שלהם), ורשימות מזהים של תוצאות חיוביות ושליליות. סט האימון כולל גם קובץ מאוחד מראש שבו בוצע שקלול יתר לדאטהסטים הקטנים יותר, כדי לאזן את תהליך הלמידה.
מאגר המועמדים לשליפה מציע שני תרחישים: מאגר גלובלי הטרוגני של 5.6 מיליון פריטים שבו המודל צריך למצוא תשובה מכלל המקורות, או מאגרים מקומיים שמכילים רק את הפריטים של אותו מקור מקורי. לכל משימה צורפו ארבע הנחיות שנכתבו בידי אדם כדי להדריך את המודל כיצד לבצע את האחזור.
מתאים ל
- אימון מודלי אחזור מולטימודלי
אימון מייצגים לשליפת תמונות לפי טקסט, שאילתות תמונה לפי תיאור, או שילוב של שניהם.
- בנצ'מרק למנועי חיפוש
הערכת ביצועי שליפה מול מאגר גלובלי של מיליוני פריטים באמצעות קובצי ה־qrels המוכנים.
- חיפוש מונחה הנחיות
בדיקת היכולת של מודלים להגיב להוראות חיפוש טבעיות שנכתבו על ידי בני אדם.
איפה זה נופל
כל הטקסטים והשאילתות במאגר כתובים באנגלית בלבד. אם המוצר שלכם צריך לאחזר בעברית, המאגר לא מתאים לאימון בלי התאמות חיצוניות ותרגום. בנוסף, מדובר באוסף שמורכב ממקורות קיימים שנוצרו במקור למטרות שונות, כך שהתיוג השלילי בחלק מהשאילתות ריק לחלוטין, מה שמאלץ אתכם להסתמך על דגימת שליליים בתוך הבאץ' בזמן אימון.
שאלות
נפוצות
האם יש במאגר נתונים בעברית?
לא. כל השאילתות, ההוראות והמסמכים במאגר מוגדרים תחת השפה האנגלית בלבד.
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, המאגר מפורסם תחת רישיון MIT. הרישיון מאפשר שימוש מסחרי מלא והטמעה במערכות סגורות, תחת צירוף תנאי הרישיון המקורי.
כמה מקום צריך לפנות בשביל להוריד אותו?
נפח האחסון המדויק בגיגה-בייטים לא מפורט, אך המאגר כולל מעל חמישה מיליון רשומות וארבעה קובצי תמונות דחוסים שמחייבים חיבור ופריסה ידנית. היוצרים מציינים שההורדה דרך Git LFS עשויה להימשך מספר שעות.
איך המאגר הזה שונה ממאגרי אחזור רגילים כמו BEIR?
בניגוד למאגרי טקסט טהורים, המאגר הזה משלב תמונות הן בצד השאילתה והן בצד המועמדים. בנוסף, הוא כולל הנחיות טקסטואליות שנכתבו על ידי אדם כדי להגדיר למודל את אופי המשימה המבוקשת.
איך טוענים
מושכים את המאגר ישירות עם Git LFS דרך פקודת שיבוט מ־Hugging Face, ללא צורך בהרשאת גישה מיוחדת. מדובר בנפח כבד מאוד שלוקח שעות להורדה, שכולל 115 קבצים וארכיון תמונות מפוצל לארבעה חלקי tar.gz. לאחר ההורדה, צריך לחבר את חלקי הארכיון באמצעות cat ולפתוח אותם ידנית לנתיב המקומי. השדות המרכזיים לעבודה בקובצי ה־JSONL הם did, qid, query_txt, ונתיבי התמונות היחסיים query_img_path ו־img_path.
from datasets import load_dataset
ds = load_dataset("TIGER-Lab/M-BEIR")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש מסחרי, שינוי והפצה, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי. המשמעות היא שאתם רשאים לאמן עליו מודלים למוצרים מסחריים מבלי לחלוק את קוד המקור או את המשקולות שלכם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש