m-WildVision
קוד פתוחCohereLabsapache-2.02025-03-02
מאגר מבחן רב-לשוני למודלי ראייה ושפה שכולל עברית. הוא מבוסס על שאלות משתמשים אמיתיות ומאפשר לבדוק יכולות של זיהוי תמונה והבנת טקסט בכמה שפות במקביל.
- 577הורדות בחודש
- 23לייקים
מה זה
המאגר מבוסס על סט הבחינה המקורי של WildVision שכלל 500 שאלות מאתגרות ממשתמשים בזירת הניסויים של הפרויקט. Cohere Labs לקחו את הפניות האלה באנגלית ותרגמו אותן ישירות ל־22 שפות נוספות באמצעות Google Translate API v3 כדי לבנות מבחן ביצועים רב-לשוני ומולטימודלי רחב.
בסך הכל המאגר מציע 23 שפות ממשפחות שונות ומערכות כתב מגוונות. בין השפות תמצאו ערבית, סינית, צ'כית, הולנדית, אנגלית, צרפתית, גרמנית, יוונית, עברית, הינדי, אינדונזית, איטלקית, יפנית, קוריאנית, פרסית, פולנית, פורטוגזית, רומנית, רוסית, ספרדית, טורקית, אוקראינית ווייטנאמית.
כל רשומה מייצגת פנייה של משתמש ומכילה מזהה ייחודי בשם question_id, את קוד השפה והאלפבית בשדה language, את שאלת המשתמש או ההוראה שלו, ותמונת מקור גולמית בפורמט JPG שמתאימה להוראה.
מתאים ל
- הערכת מודלי ראייה ושפה
בדיקת יכולת המודל לענות על שאלות מורכבות סביב תמונה בשפות שונות.
- בנצ'מרק עברית מול אנגלית
השוואה נקודתית של ביצועי זיהוי התמונה של המודל בין עברית לאנגלית.
- מדידת חוסן רב-לשוני
בחינה של שינויי דיוק בתשובות המודל כאשר אותה שאלה מנוסחת בשפות שונות.
איפה זה נופל
כל החלק שאינו באנגלית תורגם באופן אוטומטי במכונה דרך גוגל תרגום. הכרטיס לא מדווח על בדיקה אנושית, תיקוני ניסוח או התאמה תרבותית של הטקסט המתורגם. המאגר מיועד אך ורק להערכת ביצועים ולא יתאים למי שמחפש דאטה לאימון מודלים, בגלל כמות הדגימות המצומצמת שמבוססת על 500 שאלות מקור בלבד.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון המוגדר הוא apache-2.0 שאינו מגביל שימוש מסחרי. מותר להעריך בעזרתו מודלים מסחריים ואף לאמן עליו, כל עוד שומרים על תנאי הרישיון והקרדיט ליוצרים.
האם יש במאגר נתונים בעברית?
כן, תת-המאגר heb_Hebr מכיל תרגום מלא של הפניות לעברית. חשוב לזכור שהטקסט תורגם בעזרת גוגל תרגום ולכן כדאי לעבור עליו ידנית כדי לוודא שאין טעויות תרגום במונחים רגישים.
מאיפה הגיעו התמונות והשאלות?
הבסיס הוא 500 שאלות מאתגרות של משתמשים אמיתיים מפלטפורמת WildVision-Arena. החוקרים של Cohere לקחו את הסט המקורי באנגלית ותרגמו את הפניות ל־22 שפות נוספות.
האם המאגר מתאים לאימון מודל חדש?
לא מומלץ לבנות עליו לאימון. מדובר בסט מבחן של 500 דוגמאות שתורגמו, כך שההיקף שלו קטן מאוד ונועד בעיקר לבדיקת יכולות והשוואת מודלים.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets הרגילה של פייתון בלי צורך באישור גישה מראש. אפשר למשוך שפה אחת ספציפית בעזרת ציון הקוד שלה, כמו heb_Hebr לעברית או eng_Latn לאנגלית, או לטעון את כל המאגר בבת אחת אם משאירים את שדה השפה ריק. הנתונים מאוחסנים בקובצי parquet שמכילים את התמונות והטקסט יחד.
from datasets import load_dataset
ds = load_dataset("CohereLabs/m-WildVision")הרישיון
רישיון apache-2.0 מתיר שימוש חופשי לחלוטין לכל מטרה, כולל פרויקטים מסחריים ומחקר אקדמי. מותר לשנות את הנתונים, להפיץ אותם מחדש ולאמן עליהם, ובלבד ששומרים על הודעת זכויות היוצרים והייחוס המקוריים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים