VibeEval

מה זה

המאגר מכיל פחות מאלף דוגמאות בדיקה שמיועדות להערכה ולא לאימון. כל רשומה כוללת מזהה ייחודי, תמונה, פרומפט של משתמש ותשובת ייחוס שנחשבת לנכונה. בנוסף מופיעים שם הקובץ וקישור פומבי למיקום התמונה ברשת.

המבנה הפנימי מחלק את הדוגמאות לשתי קטגוריות קושי, רגיל וקשה. הדוגמאות הקשות הוגדרו במפורש כמקרים שבהם מודלים מתקדמים מתקשים להגיע לפתרון נכון, ולכן הן משמשות מדד קיצון לבחינת יכולות הסקת המסקנות של מודלי שיחה מבוססי תמונה.

הכרטיס לא מפרט תהליך סינון אלגוריתמי או מקורות איסוף ספציפיים לתמונות עצמן, אך מפנה למאמר המדעי שפורסם במאי 2024. השפות המדווחות במאגר כוללות אנגלית, פולנית, סינית ויפנית, ללא פירוט על היקף הייצוג של כל שפה בדוגמאות.

מתאים ל

• השוואת מודלי ראייה

  הרצת מבחן מובנה לבדיקת דיוק של מודלים מולטי מודליים מול תשובות ייחוס.

• בדיקת מקרי קצה

  שימוש בחלק הקשה של המאגר כדי לזהות נקודות עיוורון בהבנת תמונה מורכבת.

• מעקב אחר רגרסיה

  בדיקה תקופתית של גרסאות מודל פנימיות מול שאלות מאתגרות כדי לוודא שאין ירידה ביכולת.

איפה זה נופל

המאגר קטן מאוד ומכיל פחות מאלף דוגמאות, כך שהוא לא מתאים לאימון מודלים אלא רק לבדיקת ביצועים נקודתית. עברית אינה נתמכת ברשימת השפות של המאגר, ולכן הוא לא יסייע להעריך יכולות מקומיות. מעבר לכך, הכרטיס מציין שהחלק הקשה מכיל שאלות שמודל Reka Core לא הצליח לפתור, מה שעלול לייצר הטיה לטובת כשלים ספציפיים שמאפיינים ארכיטקטורות מסוימות על פני אחרות.

איך טוענים

המאגר פתוח לציבור ואינו דורש אישור גישה מראש. הקבצים שמורים בפורמט parquet בשם vibe-eval.v1.parquet וניתן להוריד אותם ישירות מחיבוק הפנים או דרך עמוד השחרורים בגיטהאב של המיזם. בכל שורת נתונים, השדות העיקריים לעבודה הם התמונה עצמה ששמורה במבנה של בתים ונתיב, הטקסט של הפרומפט ותשובת הזהב להשוואה. סקריפטים להרצת ההערכה המלאה מנוהלים בריפו הייעודי של החברה.

from datasets import load_dataset

ds = load_dataset("RekaAI/VibeEval")

הרישיון

המאגר מופץ תחת רישיון apache-2.0. הרישיון מאפשר שימוש מסחרי, שינוי והפצה של הנתונים, בתנאי ששומרים על הודעות זכויות היוצרים והייחוס ליוצרים המקוריים. אין חובה לשתף פרויקטים נגזרים תחת אותו הרישיון, ומודל שנבדק על הנתונים הללו אינו מוגבל בשימוש מסחרי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗