MMSearch

מה זה

המאגר כולל 300 דוגמאות שנאספו באופן ידני ומכסות 14 תתי תחומים שונים. המטרה המרכזית באיסוף הייתה לייצר שאלות שאינן חופפות לנתוני האימון הקיימים של מודלים רב-מודליים, כך שהתשובה הנכונה מתקבלת אך ורק באמצעות תהליך חיפוש בפועל. הדאטהסט משמש כמבחן ביצועים ומחולק לפי שלבי העבודה השונים של מנוע חיפוש חכם.

החלוקה הפנימית מורכבת ממשימות בדיקה ייעודיות שמופיעות בקובצי המאגר. יש כאן נתונים עבור שלוש משימות בודדות שהן ניסוח שאילתה מחדש, דירוג מחדש של תוצאות, ותמצות המידע שנמצא. בנוסף, ישנו חלק המוקדש למשימת קצה לקצה שבוחנת את כל שרשרת החיפוש המלאה, מהשאילתה הראשונית ועד למתן התשובה הסופית המבוססת על המקורות.

מתאים ל

• הערכת מנועי חיפוש חכמים

  בדיקת יכולת המודל לבצע את כל תהליך החיפוש הרב-מודלי מקצה לקצה.

• מדידת שלב הדירוג

  בחינה נקודתית של איכות סידור התוצאות באמצעות קובץ הדירוג הייעודי.

• בדיקת יכולת תמצות

  הערכת היכולת להפיק תשובה תמציתית ומדויקת מתוך ממצאי החיפוש.

איפה זה נופל

ההיקף מוגבל מאוד ועומד על 300 דוגמאות בלבד, כך שהוא מתאים להערכת ביצועים ולא לאימון מודלים. הנתונים מוגדרים באנגלית בלבד ואינם מכילים עברית. מאחר שהאיסוף נעשה ידנית, קיימת הטיה מובנית לבחירות של כותבי הדוגמאות ולתחומי הידע שנבחרו. בנוסף, מנועי חיפוש משתנים עם הזמן ותוצאות רשת ישנות עשויות להשתנות, דבר שעלול להשפיע על שחזור מדויק של התוצאות.

איך טוענים

המאגר ציבורי ופתוח להורדה ישירה דרך Hugging Face ללא צורך באישור גישה. הנתונים שמורים בקובצי parquet נפרדים לפי המשימות, ביניהם end2end, rerank ו־summarization. מדובר במאגר קטן מאוד של פחות מאלף רשומות, כך שטעינת הנתונים בזיכרון מיידית ואינה דורשת משאבי מחשוב כבדים או הכנה מיוחדת. קוד ההערכה הרשמי מתממשק ישירות גם עם ספריית VLMEvalKit.

from datasets import load_dataset

ds = load_dataset("CaraJ/MMSearch")

הרישיון

המאגר מופץ תחת רישיון MIT. מדובר ברישיון קל ומתירני שמאפשר שימוש מסחרי, שינוי, הפצה ושילוב במודלים או במערכות סגורות, ללא צורך בשיתוף הקוד שפיתחתם. הדרישה היחידה היא שמירת הודעת זכויות היוצרים המקורית והרישיון בתוכנה או בתוצרים שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗