LLaVA-NeXT-Interleave-Bench
קוד פתוחlmms-lab-encodercc-by-4.02024-07-01
מאגר לבדיקת יכולות הסקת מסקנות על רצף תמונות משולב טקסט במודלי ראייה שפה. הוא מיועד למי שרוצה למדוד ביצועים על משימות מורכבות של ריבוי תמונות ולא רק על תמונה בודדת.
- 1,787הורדות בחודש
- 15לייקים
מה זה
המאגר מרכז דאטה לבדיקת יכולות של מודלים מולטימודליים בהתמודדות עם כמה תמונות ברצף. הוא כולל בין עשרת אלפים למאה אלף דוגמאות שנאספו באפריל אלפיים עשרים וארבע, בחלקן ממאגרי מידע ציבוריים ובחלקן מחומר שנוצר באופן סינתטי באמצעות ה־API של GPT-4V.
המבנה הפנימי מחולק לכמה תרחישים המוגדרים בקובצי ג'ייסון ופרקט שונים. יש כאן חלוקה בין נתוני בדיקה שנמצאים בתוך התחום של נתוני האימון לבין כאלה שמחוצה לו, כולל קטגוריה ייעודית למבטים מרובים על אותה סצנה בשם multi_view_in_domain. התמונות עצמן מגיעות בארכיון מכווץ ומחולקות לשני חלקים שצריך לסדר במבנה תיקיות מסוים כדי להריץ את סקריפטי ההערכה.
מתאים ל
- מדידת מודלים בריבוי תמונות
בדיקת יכולת המודל להבין הקשר ולענות על שאלות הדורשות השוואה בין כמה זוויות או מקורות חזותיים במקביל.
- בחינת יכולות הכללה
הרצת מבחנים על קובצי out of domain כדי לראות איך מודל ראייה מתמודד עם דוגמאות שלא ראה כמותן באימון.
- מחקר אקדמי במולטימודל
הערכת ארכיטקטורות חדשות של מודלי שפה וראייה מול נתוני בנצ'מרק עדכניים מאמצע אלפיים עשרים וארבע.
איפה זה נופל
המאגר מוגבל לאנגלית בלבד, ואין בו ייצוג לשפות אחרות. חלק מהנתונים יוצרו על ידי GPT-4V, מה שמכניס הטיות מובנות של המודל ההוא ושגיאות סינתטיות שצריך להביא בחשבון. בנוסף, הכרטיס מציין במפורש שחלק מהנתונים, כמו שאלות ממבחן MMMU שכוללות מספר תמונות, עדיין לא נכללו במלואם בגרסה ששוחררה, כך שהכיסוי אינו שלם.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
הרישיון הבסיסי הוא CC-BY 4.0 שמאפשר שימוש חופשי, אבל הכרטיס מחייב ציות לתנאי השימוש של OpenAI בגלל דאטה שנוצר ב־GPT-4V. התנאים האלה אוסרים על שימוש בפלט לאימון מודלים שמתחרים בהם, ולכן עבור אימון מודל מסחרי זה מסוכן משפטית.
האם יש בדאטהסט תמיכה בעברית?
לא. המאגר מוגדר רשמית באנגלית בלבד. כל השאלות, התשובות וההנחיות נכתבו באנגלית, כך שהוא לא יעזור לכם לבחון ביצועים לשוניים בעברית מול תמונות.
איך נאספו התמונות והשאלות במאגר?
הצוות אסף חלק מהנתונים מתוך מאגרי מידע ציבוריים קיימים בתחום הראייה הממוחשבת, וחלק אחר נוצר ישירות על ידי שאילתות ל־API של GPT-4V כדי לייצר שאלות על רצפי תמונות. האיסוף התבצע באפריל אלפיים עשרים וארבע.
האם כל הדאטה שהובטח נמצא בקבצים?
לא לגמרי. יוצרי המאגר מציינים כי תת הסט MMMU-mv, שכולל שבע מאות שמונים ותשע שאלות מרובות תמונות שנדגמו מתוך מבחן MMMU, טרם שוחרר בקבצים הזמינים להורדה.
איך טוענים
אין צורך באישור גישה מיוחד, המאגר פתוח להורדה ישירה. בפועל תצטרכו להוריד את קובצי ה־JSON או ה־Parquet, לחלץ את ארכיון התמונות eval_images.zip לתיקיות Split1 ו־Split2, ולסדר אותם בהיררכיה שהיוצרים הגדירו כדי שסקריפט ההרצה ימצא את הנתיבים. הקבצים כוללים מזהים, שאלות וקישורים לתמונות המתאימות מתוך הארכיון.
from datasets import load_dataset
ds = load_dataset("lmms-lab-encoder/LLaVA-NeXT-Interleave-Bench")הרישיון
הרישיון הרשמי הוא Creative Commons Attribution 4.0 שמתיר שימוש מסחרי ושינויים תחת מתן קרדיט. עם זאת, היוצרים מציינים שיש לציית גם לתנאי השימוש של OpenAI בגלל השימוש ב־GPT-4V ליצירת הנתונים, מה שמגביל בפועל אימון של מודלים מסחריים מתחרים.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס