UNO-Bench

מה זה

המאגר כולל 1,250 דוגמאות מולטי-מודאליות מלאות שנאספו ידנית ועוד 2,480 דוגמאות לכל מודאליות בנפרד, בחלוקה ל־44 סוגי משימות ו־5 שילובי מדיה. המשימות מחולקות לשני תחומי ליבה עיקריים, תפיסה והסקה, ומוגשות כשאלות רב-ברירה לצד שאלות פתוחות רב-שלביות לבדיקת חשיבה מורכבת.

חומרי הגלם נאספו בעיקר ממאגרי מיקור חוץ שכללו תמונות ווידאו מהעולם האמיתי, אתרים ללא זכויות יוצרים, קטעים מדובבים של מעל 20 דוברים, ומעט דגימות ממאגרים ציבוריים כמו MMVU ו־LongVideoBench. החלק של המודאליות הבודדת הופק על ידי דחיסה סטטיסטית של 18 בנצ'מרקים מוכרים.

כל שאלת הערכה עברה סינון מודל ראשוני, בדיקת אבלציה שמחקה מודאליות אחת כדי לוודא שאי אפשר לפתור את השאלה בלעדיה, וביקורת אנושית סופית של מומחים וסטודנטים.

מתאים ל

• הערכת מודלי וידאו ואודיו

  מבחן ביצועים משולב למודלים שמעבדים במקביל ערוצי קול ותמונה.

• בדיקת חשיבה רב-שלבית

  מדידת יכולת ההסקה של מודל באמצעות שאלות פתוחות מורכבות.

• ניתוח צווארי בקבוק במודל

  השוואה בין ביצועי מודאליות יחידה לביצועים המשולבים שלה.

איפה זה נופל

ההקשר התרבותי נוטה בכבדות לסין, הן מבחינת חומרי המדיה והן מבחינת השפה שמתמקדת בסינית ובאנגלית. עברית לא קיימת כאן בכלל, כך שלמי שבונה מודל ייעודי לישראל אין כאן כיסוי לשוני או תרבותי. בנוסף, מדובר במאגר הערכה קטן יחסית ולא בדאטהסט אימון, והוא מוגבל לפתרון בעיות נקודתיות של הבנת אודיו ווידאו מסונכרנים.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית הדאטהסטים של Hugging Face ללא צורך בהרשאת גישה מיוחדת. המאגר כולל 5,735 קבצים, כולל קובצי מדיה רבים, סקריפטים להערכה ומסמכי הסבר. לצורך בדיקה אוטומטית של שאלות פתוחות, מפתחי המאגר שחררו מודל ניקוד ייעודי בשם UNO-Scorer-Qwen3-14B שמיועד להרצה לצד נתוני המבחן.

from datasets import load_dataset

ds = load_dataset("meituan-longcat/UNO-Bench")

הרישיון

המאגר משוחרר תחת רישיון MIT. הרישיון מתיר שימוש מסחרי, שינוי והפצה ללא דרישה לשיתוף תחת אותו רישיון, ומחייב רק שמירה על הודעת זכויות היוצרים המקורית. אפשר להשתמש בו בחופשיות להערכת מודלים פנימיים או מסחריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗