NaturalBench
קוד פתוחBaiqiLapache-2.02024-06-13
מאגר שנועד לבחון מודלי ראייה ושפה על דוגמאות טבעיות שמכשילות אותם בקלות. הוא בודק אם המודל באמת מבין את התמונה או רק מנחש לפי ידע כללי בטקסט.
- 967הורדות בחודש
- 29לייקים
מה זה
המאגר מציע מבנה שמחייב הבנה ויזואלית אמיתית. כל רשומה כוללת שתי תמונות ושתי שאלות, כאשר אותה שאלה מניבה תשובות שונות לחלוטין עבור כל תמונה. התשובות הן מסוג כן ולא או בחירה מרובה, והטקסטים מופיעים באנגלית, סינית והינדי.
איסוף המידע נעשה בצורה חצי אוטומטית. החוקרים לקחו תמונות מתוך Flickr30k, DOCCI ו־XM3600, ואיתרו צמדים שמבלבלים מודלים קיימים כמו CLIP ו־BLIP2. לאחר מכן הם נעזרו ב־GPT4 כדי לנסח את השאלות והתשובות, והעבירו את התוצרים לבודקים אנושיים שסיננו שאלות שגויות או כאלה שקיבלו תשובה זהה בשתי התמונות.
מתאים ל
- הערכת עיוורון ויזואלי
בדיקה אם מודל ראייה ושפה מסיק תשובות רק מהטקסט או מסתמך על התמונה המוצגת בפועל.
- מבחן עמידות למודלי VQA
הרצת בדיקות השוואתיות על דוגמאות יריבות טבעיות שמכשילות מודלים מסחריים ופתוחים.
- כוונון עדין למניעת הטיה
אימון משלים באמצעות קובצי הכוונון שבמאגר כדי להפחית ניחושים עיוורים בתשובות.
איפה זה נופל
השאלות והתשובות נוצרו על ידי GPT4, כך שהן נושאות את ההטיות וסגנון הניסוח האופייניים לו, למרות הסינון האנושי. המאגר תומך רק בשלוש שפות, ואף אחת מהן אינה עברית. תמונות המקור מגיעות ממאגרים ישנים יחסית כמו Flickr30k לצד מאגרים חדשים יותר, ולכן הן משקפות את ההקשרים והאיכויות של המקורות האלה בלבד.
שאלות
נפוצות
האם יש במאגר תמיכה בעברית?
לא. השאלות והתשובות זמינות בשלוש שפות בלבד: אנגלית, סינית והינדי. כדי להשתמש בו להערכה בעברית תצטרכו לתרגם את השאלות בעצמכם.
האם מותר להשתמש במאגר לפרויקט מסחרי?
הרישיון המדווח במאגר הוא apache-2.0, שמתיר שימוש מסחרי, שינוי והפצה תחת מתן קרדיט. עם זאת, השאלות עצמן נוצרו בעזרת GPT4, וצריך לקחת בחשבון את תנאי השימוש של יוצרי המודל המקורי.
במה הוא שונה מדאטהסטים רגילים של VQA?
במאגרים רגילים מודלים מצליחים לענות נכון רק על בסיס ידע כללי בטקסט, בלי לבדוק את התמונה. כאן כל שאלה מוצמדת לשתי תמונות שונות שנותנות תשובות הפוכות, ולכן ניחוש טקסטואלי נכשל מיד.
איך טוענים
טוענים את הדאטהסט ישירות דרך ספריית datasets בקריאה לפונקציה load_dataset עם המזהה BaiqiL/NaturalBench, בלי צורך בבקשת גישה מיוחדת. הנתונים מגיעים בקובצי Parquet שמחולקים לשלושה חלקים, ויש במאגר גם קובצי zip ו־tsv. המבנה המרכזי כולל שדות של שתי תמונות מסוג PIL ושאלות עם תוויות התשובה הנכונה עבור כל תמונה בנפרד, לצד שדה המציין את סוג השאלה והשפה.
from datasets import load_dataset
ds = load_dataset("BaiqiL/NaturalBench")הרישיון
המאגר פורסם ברישיון apache-2.0. הרישיון מאפשר שימוש מסחרי, מחקרי, שינוי והפצה, ומחייב מתן ייחוס מתאים ושמירה על תנאי הרישיון וההודעות המקוריות. אין חובת שיתוף באותו רישיון, ומודלים שתאמנו או תוקפו על המאגר אינם כפולים למגבלת קוד פתוח בגללו, אם כי השאלות נוצרו במקור באמצעות GPT4.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים