VRC-Bench
קוד פתוחomkarthawakarרישיון לא דווח2025-01-06
מבחן ביצועים מולטימודלי שמפרק שאלות מורכבות על תמונות לשלבי חשיבה ופעולה מובנים. הוא מתאים למי שרוצה לבדוק לא רק אם המודל פגע בתשובה הסופית, אלא גם איך הוא הגיע אליה.
- 350הורדות בחודש
- 23לייקים
מה זה
הרשומות במאגר כוללות תמונה, שאלה, תשובה סופית, מזהה ייחודי, ורשימת שלבים מפורטת של חשיבה ופעולות לפתרון. המבנה הזה נועד לבדוק יכולות של שרשרת מחשבה ויזואלית ולא רק ניחוש של תוצאה מספרית או מילולית.
התוכן מכסה מגוון תחומים ובהם חשיבה מתמטית ולוגית, מדעים, תפיסה ויזואלית, הבנת תרשימים ודיאגרמות, פענוח מסמכים ותחומים ייעודיים כמו הדמיה רפואית והבנה תרבותית. לפי המזהים ברשומות, חלק מהנתונים מקורם במאגרים קיימים כמו MathVista, אך הכרטיס לא מפרט תהליך סינון מדויק או כיצד נבנו שלבי הפתרון. החלוקה במאגר כוללת רק סט בדיקה יחיד.
מתאים ל
- הערכת שרשראות חשיבה
בדיקת יכולת המודל לייצר שלבי פתרון לוגיים צעד אחר צעד על גבי תמונות.
- מבחן ביצועים להבנת גרפים
מדידת הדיוק של מודלי ראייה שפה בחילוץ נתונים מתרשימים וטבלאות.
- השוואת דיוק תשובה סופית
הרצת מודלים שונים מול שאלות מדעיות ומתמטיות לקבלת מדד דיוק סופי.
איפה זה נופל
הכרטיס לא מספק מידע על מגבלות, הטיות ידועות או תהליך בקרת האיכות של שלבי ההסקה. כל הדוגמאות המוצגות הן באנגלית, ואין עדות לנתונים בשפות אחרות או בעברית. בנוסף, מדובר בסט מבחן בלבד ללא נתוני אימון, כך שהוא מיועד להערכה ולא לפיתוח מודלים מאפס. לפני שמסתמכים עליו לבדיקת מוצר, צריך לוודא שהתחומים והשאלות רלוונטיים למקרי הקצה שמעניינים אתכם.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מסחרי?
לא מומלץ בכלל כרגע. למאגר לא הוגדר רישיון שימוש, ולכן אין היתר רשמי להשתמש בנתונים לצרכים מסחריים או לאמן עליהם מוצרים.
האם המאגר כולל נתונים בעברית?
לא. השאלות ושלבי ההסקה בדוגמאות ובתיעוד כתובים באנגלית בלבד.
מה מייחד אותו ממבחני ביצועים מולטימודליים אחרים?
במקום למדוד רק אם המודל צדק בתשובה הסופית, המאגר מספק פירוק לשלבי חשיבה ופעולות. זה מאפשר לבדוק את מהלך ההסקה של המודל לאורך כל הדרך.
האם אפשר לאמן מודלים באמצעות המאגר הזה?
המאגר מגיע כסט בדיקה בלבד המכיל קובץ Parquet בודד להערכה. הוא לא מכיל חלוקת אימון, ולכן נועד למדידת ביצועים ולא לאימון ישיר.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות הפקודה load_dataset עם שם המאגר והגדרה של split="test". הנתונים פתוחים לגישה חופשית ללא צורך באישור מיוחד. המאגר כולל קובץ Parquet בודד תחת תיקיית data, ותמונות מסוג PIL. השדות המרכזיים לעבודה הם question, image, final_answer והמערך steps שמכיל את שלבי ההסקה.
from datasets import load_dataset
ds = load_dataset("omkarthawakar/VRC-Bench")הרישיון
ליוצרי המאגר אין רישיון מדווח בעמוד. המשמעות היא שאין הרשאה משפטית מפורשת להשתמש בנתונים, לא לצרכים מסחריים ואפילו לא למחקר, אלא אם יוצרי הפרויקט יעדכנו רישיון מוגדר במאגר הגיטהאב שלהם. כל שימוש בנתונים או אימון עליהם חושף אתכם לסיכון משפטי של הפרת זכויות יוצרים.