K-SEED
קוד פתוחNCSOFTcc-by-nc-4.02024-11-26
תרגום קוריאני מבוקר אנושית לחלק ממבחן הביצועים SEED-Bench. המאגר מיועד לבדיקה מדויקת של מודלי ראייה שפה בהבנת תמונות ושאלות רב ברירה בקוריאנית.
- 489הורדות בחודש
- 23לייקים
מה זה
המאגר מבוסס על עשרים האחוזים הראשונים מתוך תת קבוצת המבחן של SEED-Bench המקורי, בנצ'מרק מוכר למודלי ראייה ושפה רב מודליים. הצוות ב־NCSOFT תרגם את השאלות ואת אפשרויות התשובה לקוריאנית, ולאחר מכן העביר את הטקסטים בדיקה וסינון ידניים של בודקים אנושיים כדי לוודא ניסוח טבעי ותקינות לשונית.
המבנה הפנימי כולל שאלות אמריקאיות עם ארבע אפשרויות בחירה לכל תמונה, המכסות שנים עשר ממדי הערכה שונים. הממדים האלה בודקים יכולות כמו הבנת סצנה כללית, זיהוי מופעים ספציפיים ומעקב אחר מאפיינים חזותיים של אובייקטים בתוך התמונה.
הנתונים שמורים בשני קובצי Parquet ייעודיים לצד קובץ TSV יחיד שמכיל את הטקסטים וההפניות. כל רשומה כוללת את התמונה הרלוונטית, את השאלה המתורגמת בקוריאנית וארבע אפשרויות תשובה מסומנות, שנועדו להערכה ישירה בעזרת פרומפט מובנה.
מתאים ל
- בנצ'מרק למודלי ראייה
מדידת הדיוק של מודלי ראייה שפה בקוריאנית על שאלות רב ברירה והבנת תמונה.
- בדיקת יכולות רב לשוניות
השוואת ביצועי מודל מול תוצאות SEED-Bench המקוריות באנגלית כדי לבחון פערי שפה.
- בדיקת מודלים עם lmms-eval
הרצת הערכה אוטומטית מובנית בעזרת מאגר הבדיקות הנתמך רשמית בכלי ההערכה.
איפה זה נופל
המאגר מוגבל לקוריאנית בלבד ואין בו שום תמיכה בעברית או בשפות אחרות. מעבר לזה, מדובר רק בעשרים אחוזים מסט המבחן המקורי ולא במבחן המלא, כך שהכיסוי החזותי חלקי ביחס ל־SEED-Bench השלם. הנתונים מתאימים להערכה בלבד, ולא לאימון מודלים. אם אתם בונים מערכת למוצר אמיתי, המבחן בודק בעיקר שאלות רב ברירה ולא שיחה פתוחה, יצירת טקסט חופשי או התמודדות עם תרחישים מקומיים שאינם בקוריאנית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון של המאגר הוא cc-by-nc-4.0, מה שאוסר כל שימוש מסחרי מכל סוג שהוא. מותר להשתמש בו אך ורק למחקר פנימי, ניסויים אקדמיים והערכה לא מסחרית של מודלים.
האם יש במאגר שאלות או נתונים בעברית?
לא, המאגר מוגדר ומכיל טקסטים בשפה הקוריאנית בלבד. כל השאלות ואפשרויות התשובה תורגמו מאנגלית לקוריאנית ונבדקו בהקשר הזה בלבד, ללא שום נגיעה לעברית.
איך נוצרו הנתונים והאם התרגום אמין?
החוקרים לקחו את עשרים האחוזים הראשונים מתוך סט ה־test של SEED-Bench המקורי ותרגמו אותם לקוריאנית. כדי למנוע תרגום מכונה עיוור, כל שאלה ותשובה עברו בדיקה ואישור של בני אדם כדי להבטיח ניסוח טבעי ותקין.
מה ההבדל בין המאגר הזה לבין SEED-Bench המקורי?
המאגר המקורי נכתב כולו באנגלית והכיל היקף רחב יותר של שאלות. הגרסה הזו ממוקדת בשפה הקוריאנית ומכילה מדגם מצומצם של עשרים אחוזים מתוכו, במטרה לבחון ביצועים ספציפיים בקוריאנית.
איך טוענים
טוענים את הנתונים ישירות מספריית datasets של Hugging Face דרך המזהה NCSOFT/K-SEED, ללא צורך באישור גישה מוקדם או במפתחות מיוחדים. המאגר שוקל מעט מאוד ומכיל בסך הכל שישה קבצים, כולל שני קובצי Parquet מפוצלים וקובץ TSV בשם SEEDBench_IMG_KO.tsv. השדות החשובים לריצה הם התמונה, השאלה (question) וארבע הבחירות מ־choice_a עד choice_d. מריצים אותם עם תבנית הפרומפט שמופיעה בתיעוד, שמבקשת מהמודל לפלוט רק את אות התשובה הנכונה. הקוד להערכה נתמך רשמית בכלי lmms-eval.
from datasets import load_dataset
ds = load_dataset("NCSOFT/K-SEED")הרישיון
הרישיון הוא cc-by-nc-4.0. המשמעות פשוטה: השימוש מותר למחקר ולמטרות לא מסחריות בלבד, תוך מתן קרדיט מלא ליוצרים. אסור להשתמש בנתונים האלה כדי לבנות, לאמן או להעריך מודלים שמיועדים לשירות מסחרי בתשלום, והמגבלה הזו מחייבת כל תוצר ישיר שמתבסס על המאגר.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא