SEED-Bench
קוד פתוחAILab-CVCcc-by-nc-4.02023-07-28
המאגר כולל 19,000 שאלות רב ברירה עם תיוג אנושי לבדיקת מודלי שפה רב מודליים. הוא מיועד למי שרוצה לבחון יכולות הבנה של תמונות ווידאו לאורך תריסר ממדי הערכה שונים.
- 3,232הורדות בחודש
- 24לייקים
מה זה
המאגר מכיל שאלות אמריקאיות המיועדות למשימות מענה על שאלות חזותיות, עם תיוגים אנושיים מדויקים שנאספו ביולי 2023. הנתונים מתמקדים בהערכת מודלים רב מודליים על הבנה מרחבית וזמנית, ומכסים 12 ממדי בדיקה שונים שכוללים התייחסות לתמונות סטטיות ולקטעי וידאו.
התמונות במאגר מגיעות מתוך Conceptual Captions, והזכויות עליהן שייכות ליוצרי המקור של גוגל. קטעי הווידאו מתבססים על שלושה מקורות מוכרים: Something-Something v2, Epic-kitchen 100 ו־Breakfast. המפרסמים לא מספקים את כל קובצי הווידאו עצמם במלואם, אלא מפרטים את שמות הסרטונים ומפנים להורדה מאתרי הפרויקטים המקוריים.
מתאים ל
- הערכת מודלי ראייה ושפה
בדיקת ביצועים של מודלים רב מודליים על 19,000 שאלות רב ברירה מבוססות תמונה.
- מדידת הבנת וידאו בזמן
בחינת יכולת המודל לעקוב אחרי פעולות והתרחשויות לאורך ציר הזמן בסרטונים.
- השוואת ביצועים במחקר
הרצת מבחן השוואתי אחיד מול 12 ממדי הערכה מוגדרים מראש לקהילת הקוד הפתוח.
איפה זה נופל
המאגר כולו באנגלית ואינו כולל נתונים בעברית. בנוסף, הוא מתמקד בשאלות רב ברירה בלבד, מה שלא בודק יכולות של יצירת טקסט חופשי. יש כאן גם תלות ישירה בהורדה חיצונית של סרטונים מפרויקטים אחרים, דבר שמסבך את תהליך ההרצה ומחייב התאמה לרישיונות המקור של כל סרטון ותמונה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא, הרישיון הוא cc-by-nc-4.0 ומיועד למחקר בלבד. אסור לבנות מודלים מסחריים על בסיס הנתונים האלה. בנוסף, הכרטיס דורש לעמוד בתנאי השימוש של OpenAI.
האם יש במאגר תמיכה בשפה העברית?
המאגר מוגדר לשפה האנגלית בלבד, וכל השאלות נכתבו באנגלית. אין בו תיוגים, שאלות או תשובות בעברית. אם המודל שלכם מיועד לעברית, תצטרכו לתרגם את החומר או לבדוק אותו במקום אחר.
מאיפה מגיעים קובצי התמונות והווידאו?
התמונות נלקחו מתוך המאגר Conceptual Captions של גוגל. הווידאו מבוסס על המאגרים Something-Something v2, Epic-kitchen 100 ו־Breakfast. בחלק מהמקרים הכרטיס מספק רק שמות קבצים ומפנה להורדה מאתרי המקור.
כמה שאלות יש בדאטהסט ואיך הן בנויות?
המאגר כולל 19,000 שאלות רב ברירה שנבדקו על ידי מתייגים אנושיים. השאלות מכסות 12 ממדי הבנה שונים בתחומי התמונה והווידאו. המבנה האמריקאי מאפשר בדיקה אוטומטית ומהירה של תשובות המודל.
איך טוענים
הנתונים יושבים במבנה של קובצי JSON, סקריפט טעינה בשם SEED-Bench.py וארכיוני זיפ כמו SEED-Bench-image.zip וחלקים מפוצלים של וידאו. אין צורך באישור גישה מיוחד כדי להוריד את 37 הקבצים שפורסמו כאן, אבל תצטרכו להוריד חלק מקובצי הווידאו ישירות מהאתרים הרשמיים של הדאטהסטים החיצוניים.
from datasets import load_dataset
ds = load_dataset("AILab-CVC/SEED-Bench")הרישיון
הרישיון הוא cc-by-nc-4.0, מה שאומר שהשימוש מוגבל למטרות מחקר ומחייב מתן קרדיט ליוצרים. אסור להשתמש בחומרים למטרות מסחריות, והמפרסמים מציינים גם כפיפות לתנאי השימוש של OpenAI. מודל שאומן על הנתונים האלה לא יוכל לשמש במוצר מסחרי.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא