MMVP
קוד פתוחMMVPmit2024-01-10
המאגר כולל זוגות תמונות שמערכות ראייה מבוססות קליפ מזהות בטעות כזהות למרות הבדלים בולטים. הוא מיועד למי שרוצה לבדוק איפה מודלי שפה ותמונה חזקים נכשלים בשאלות בסיסיות.
- 2,486הורדות בחודש
- 17לייקים
מה זה
במאגר יש שלוש מאות תמונות שמחולקות לזוגות של מה שהחוקרים מגדירים בתור נקודות עיוורון של קליפ. אלו תמונות שמציגות הבדלים ויזואליים ברורים לעין אנושית, אבל מודלים מסוג קליפ מתייחסים אליהן כאילו הן כמעט אותו הדבר. המטרה כאן היא לאפשר משימות של מענה על שאלות ויזואליות, ולראות אם המערכת מסוגלת להבחין בפרטים או שהיא מתחילה להזות הסברים שגויים.
המקור של התמונות הוא שילוב של שני מאגרים מוכרים, אימג'נט אלף ולאיון אסתיטיקס. החוקרים ביצעו ניתוח השוואתי על החומרים הללו כדי לאתר דפוסים שבהם המודלים נוטים ליפול. המאגר בודק את הביצועים של מערכות מתקדמות, כולל מערכות כמו ג'יפיטי ארבע וי, מול תשעה דפוסים חזותיים בסיסיים שחושפים את פערי התפיסה בין אדם למכונה.
מתאים ל
- בדיקת כשלים במודלי ראייה
בחינה מהירה של עמידות מודל מול תמונות שמבלבלות מנגנוני עיבוד ויזואליים נפוצים.
- מדידת הזיות במענה לשאלות
בדיקה אם מערכת רב-מודלית עונה נכון על שאלות פשוטות או ממציאה עובדות ויזואליות.
- השוואת ביצועים מול מערכות
הרצת מבחן השוואתי ישיר מול ביצועי מודלים מובילים בתשעה דפוסי תפיסה בסיסיים.
איפה זה נופל
זה לא מאגר לאימון רחב אלא מבחן נקודתי שכולל שלוש מאות תמונות בלבד. החומרים מבוססים על דאטהסטים קיימים כמו לאיון ואימג'נט, כך שהם סוחבים איתם את ההטיות המקוריות של המאגרים הללו. אין כאן אזכור לשפות נוספות מעבר לאנגלית, ואין נתונים בעברית. לפני שמשלבים מודל במוצר אמיתי, צריך לזכור שהבנצ'מרק מתמקד רק בתשעה דפוסים ספציפיים שהכשילו את קליפ, ולא מכסה את כל סוגי השגיאות האפשריים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
כן, המאגר פורסם תחת רישיון אם אי טי שמתיר שימוש מסחרי ללא מגבלות מיוחדות. הדרישה העיקרית היא הכללת הודעת זכויות היוצרים והרישיון המקורי. אין חובה לחלוק מודלים שפותחו או נבדקו עליו באותו האופן.
כמה מקום המאגר תופס והאם ההורדה כבדה?
המאגר כולל שלוש מאות תמונות ובסך הכל שלוש מאות וארבעה קבצים. זהו נפח זעיר שאינו דורש שטח אחסון משמעותי או רוחב פס רחב. ההורדה מתבצעת תוך שניות בודדות בסביבת עבודה מקומית או בענן.
האם יש במאגר שאלות או תמונות בעברית?
הכרטיס לא מציין תמיכה בעברית או תכנים מקומיים. התמונות מגיעות ממאגרים גלובליים נפוצים כמו אימג'נט ולאיון, וההנחיות והשאלות מוגדרות באנגלית. אם אתם בונים מוצר לשוק הישראלי, תצטרכו לתרגם את השאלות בעצמכם כדי לבחון מענה בעברית.
איך התמונות האלו נאספו בפועל?
החוקרים ביצעו ניתוח השוואתי על מאגרי אימג'נט ולאיון אסתיטיקס. הם איתרו זוגות תמונות ספציפיים שקליפ מתייחס אליהם כדומים, למרות שהבדלים ויזואליים ברורים לחלוטין לעין אנושית. התוצאה היא אוסף ממוקד של נקודות תורפה ויזואליות.
איך טוענים
טוענים את המאגר ישירות דרך האגינג פייס תחת המזהה הרשמי, ואין צורך לבקש אישור גישה מיוחד מראש. המאגר עצמו קטן מאוד וכולל שלוש מאות וארבעה קבצים בסך הכל, כשרובו הגדול הוא קובצי תמונה בפורמט ג'ייפג שנמצאים בתוך תיקיית התמונות הראשית. בגלל שמדובר במאגר ייעודי למענה על שאלות, העבודה מולו פשוטה ואינה דורשת משאבי אחסון כבדים או זמני הורדה ממושכים, ומספיק למשוך את הקבצים ישירות לסקריפט הבדיקה שלכם.
from datasets import load_dataset
ds = load_dataset("MMVP/MMVP")הרישיון
הרישיון הוא רישיון אם אי טי, מה שאומר שהשימוש חופשי לחלוטין גם למטרות מסחריות וגם למחקר. אתם יכולים לשנות, לבדוק, ולהפיץ את הנתונים, כל עוד אתם שומרים על תנאי הייחוס והקרדיט למפרסמים. הרישיון לא מחייב אתכם לפתוח את הקוד של מודל שתבדקו מולו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש