vlms-are-biased
קוד פתוחanvo25mit2025-05-02
המאגר בודק אם מודלי שפה ותמונה מסתמכים על ראייה אמיתית או מדקלמים מהזיכרון. הוא כולל תמונות מוכרות שעברו עריכה עדינה כדי להכשיל מודלים שסומכים על ידע קודם במקום להסתכל.
- 1,488הורדות בחודש
- 29לייקים
מה זה
הנתונים מחולקים לזוגות של תמונות ושאלות סביב שבעה תחומים מוגדרים היטב: בעלי חיים, סמלילים מסחריים, דגלי מדינות, כלי שחמט, משחקי לוח, אשליות אופטיות ורשתות של תבניות. המטרה של כל רשומה היא לבחון משימות ספציפיות כמו ספירת פריטים וזיהוי חריגות, למשל ספירת פסים בסמליל שבו נוסף פס רביעי בניגוד למקור.
המאגר מאורגן במספר קובצי Parquet שמייצגים תתי סטים שונים של הניסוי. תמצאו שם את הסט הראשי, תמונות מקוריות לצורך השוואה, וריאציות ללא כותרות, וריאציות שבהן הוסר הרקע, וסט שבודק יכולת זיהוי. המבנה הזה נבנה כדי לבודד בדיוק מה גורם למודל לטעות, הטקסט שבתמונה, הרקע או הצורה עצמה.
מתאים ל
- הערכת עיוורון ויזואלי
בדיקה אם מודל רב מודלי באמת בוחן את הפיקסלים או עונה אוטומטית לפי היכרות מוקדמת.
- מבחן ביצועים להזיות
מדידת הנטייה של המערכת להמציא פרטים עובדתיים כשמציגים לה סמליל או חפץ שעבר שינוי.
- בדיקות רגרסיה לספירה
הרצת מבחני קבלה מובנים כדי לוודא ששדרוג מודל לא פגע ביכולת הספירה הפשוטה שלו.
איפה זה נופל
זה לא מאגר לאימון כללי אלא בנצ׳מרק ממוקד לבדיקת כשלים, והוא מכיל פחות מאלף רשומות באנגלית בלבד. עברית לא קיימת כאן בכלל, כך שאם אתם בונים מוצר לשוק המקומי תצטרכו לתרגם את השאלות ולהתאים אותן בעצמכם. בנוסף, כל הבדיקה מבוססת על מניפולציות סינתטיות מכוונות בשבעה תחומים ספציפיים, ולכן הוא לא משקף פיזור רגיל של תמונות בעולם האמיתי.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון שמוגדר במאגר הוא MIT. הרישיון הזה מתיר שימוש מסחרי מלא בלי דרישה לפתוח את הקוד שלכם, ורק מחייב להשאיר את קרדיט היוצרים המקורי.
האם יש בדאטהסט נתונים בשפה העברית?
לא, המאגר מוגדר כולו באנגלית. השאלות שבוחנות את התמונות מנוסחות באנגלית בלבד, ואין בו התאמה מקומית לשפה או לתרבות הישראלית.
כמה שוקל הדאטהסט והאם קשה להוריד אותו?
מדובר במאגר קטן מאוד של פחות מאלף רשומות שמחולקות ל־12 קבצים בפורמט Parquet. ההורדה מהירה מאוד ואינה דורשת משאבי אחסון מיוחדים או אישורי גישה.
מה מייחד אותו מבנצ'מרקים רגילים של תמונה וטקסט?
הוא מתמקד בכישלונות ספציפיים שנובעים משינון יתר של ידע מהאינטרנט. החוקרים שינו בכוונה פרטים קטנים באובייקטים מוכרים כדי לחשוף מתי המודל מנחש במקום להסתכל.
איך טוענים
אין כאן צורך באישור גישה מיוחד, המאגר פתוח לחלוטין וכולל פחות מאלף רשומות, כך שההורדה שלו מיידית. הקבצים שמורים בפורמט Parquet בחלוקה לכמה ספליטים. אפשר לטעון אותו ישירות מקוד פייתון או להריץ אותו ישר דרך ספריית lmms-eval שתומכת בסט הראשי מהקופסה. השדות מתמקדים בתמונה ובשאלה המצורפת אליה.
from datasets import load_dataset
ds = load_dataset("anvo25/vlms-are-biased")הרישיון
הרישיון הוא MIT, מה שאומר שיש לכם חופש מלא לעשות בו שימוש מסחרי, לשנות אותו, להפיץ אותו הלאה ולשלב אותו בכל מודל או פרויקט פנימי שתבחרו. הדרישה היחידה היא לשמור על הודעת זכויות היוצרים ונוסח הרישיון המקורי. השימוש בו לא כופה עליכם לשחרר את המוצר שלכם בקוד פתוח.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש