AyaVisionBench
קוד פתוחCohereLabsapache-2.02025-03-02
בנצ'מרק רב-לשוני של תמונות ושאלות להערכת מודלי ראייה-שפה ב־23 שפות כולל עברית. הוא מתאים למי שרוצה לבדוק מודלים על תשע משימות שונות בלי להסתמך רק על אנגלית.
- 725הורדות בחודש
- 39לייקים
מה זה
המאגר מכיל זוגות של תמונה ושאלה שדורשת הבנה ויזואלית מלאה של התוכן. יש בו בסך הכל 135 דוגמאות לכל שפה, שמחולקות שווה בשווה בין תשע קטגוריות משימה: כיתוב תמונה, הבנת גרפים, מציאת הבדלים בין שתי תמונות, שאלות-תשובות כלליות, זיהוי תווים, הבנת מסמכים, תמלול טקסט, הסקת מסקנות ויזואלית שכוללת לוגיקה ומתמטיקה, והמרת צילומי מסך לקוד. בכל קטגוריה כזו יש 15 דוגמאות בלבד לכל שפה.
התמונות נלקחו מקבוצת המבחן של The Cauldron, מאגר המאגד 50 מקורות שונים, כדי להבטיח שהמודלים לא נחשפו אליהן באימון. השאלות נוצרו באופן סינתטי באנגלית ועברו תהליך אימות כפול שכלל בדיקה אנושית לסינון שאלות לא רלוונטיות או כאלה שאינן תלויות בתמונה, לצד סינון אוטומטי. לאחר מכן, הגרסה האנגלית תורגמה ל־22 שפות נוספות באמצעות Google Translate API v3.
מתאים ל
- הערכת מודלי ראייה רב-לשוניים
בדיקת ביצועים של מודלים על שאלות חזותיות במגוון שפות במקביל כדי לאתר פערי איכות מול אנגלית.
- בדיקת חילוץ טקסט מתמונות
בחינת יכולת המודל לפענח גרפים, מסמכים וטקסטים כתובים בשפות שאינן לטיניות כולל עברית וערבית.
- מדידת יכולת הסקה ויזואלית
הרצת מבחני היגיון, מתמטיקה והמרת צילומי מסך לקוד הדורשים הבנה עמוקה של התמונה ולא רק זיהוי שטחי.
איפה זה נופל
הבעיה המרכזית כאן היא השימוש בתרגום מכונה. למעט אנגלית, כל השפות נוצרו בעזרת גוגל תרגום, מה שעלול לייצר שגיאות ניסוח או עיוותים של מונחים מקצועיים, בייחוד במשימות כמו תמלול מסמכים ותרגום קוד. מעבר לזה, מדובר במדגם זעיר של 135 שאלות בלבד לשפה. אי אפשר לאמן על זה מודלים, וזה משמש אך ורק לבדיקה שטחית ומהירה. כמו כן, הרשומות כוללות שאלות בלבד ולא תשובות מוכנות, כך שתצטרכו להגדיר בעצמכם איך להעריך את הפלטים של המודל.
שאלות
נפוצות
האם הדאטהסט כולל עברית?
כן, עברית נכללת ברשימת 23 השפות תחת הקוד heb_Hebr. עם זאת, השאלות בעברית נוצרו באמצעות תרגום מכונה מאנגלית דרך Google Translate API v3 ולא נכתבו במקור על ידי דוברי עברית.
האם אפשר להשתמש בו למוצרים מסחריים?
כן, המאגר זמין תחת רישיון apache-2.0 שמתיר שימוש מסחרי מלא. הדרישה העיקרית היא לשמור על ייחוס מתאים והודעת הרישיון המקורית בקוד או בתוצר.
האם המאגר כולל תשובות נכונות לשאלות?
לא, הרשומות מכילות רק תמונות, שאלות ומטא-דאטה, ללא שדה של תשובת מפתח. אם אתם בונים מערכת הערכה אוטומטית, תצטרכו לקבוע בעצמכם את אופן השיפוט של תשובות המודל.
האם הדאטהסט מתאים לאימון מודל?
הוא לא מתאים לאימון כלל. עם 135 דוגמאות בלבד לכל שפה ו־15 דוגמאות לקטגוריה, הוא תוכנן כבנצ'מרק צר למבחני ביצועים והשוואה בלבד.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות הפקודה load_dataset עם המזהה CohereLabs/AyaVisionBench. אפשר להוריד את כל המאגר או לציין קוד שפה ספציפי כמו heb_Hebr לעברית או kor_Hang לקוריאנית. הקבצים שמורים בפורמט parquet ואין צורך בהרשאת גישה מיוחדת כדי להתחיל לעבוד. כל רשומה כוללת את התמונה הגולמית, שאלת ההנחיה, מזהה ייחודי, שפת הרשומה, שם מאגר המקור שממנו נלקחה התמונה והקטגוריה שלה.
from datasets import load_dataset
ds = load_dataset("CohereLabs/AyaVisionBench")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי, מחקרי, שינוי והפצה של הנתונים, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי. אין חובה לשתף נגזרות תחת אותו רישיון, ומותר להשתמש במידע כדי לבחון או לפתח מודלים ומערכות מסחריות.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים