MMBench-GUI

מה זה

המאגר מחולק לארבע רמות מורכבות. שתי הרמות הראשונות, הבנת תוכן ממשק ומיקום אלמנטים על המסך, מיוצגות בקובצי תיוג ישירים של ג'ייסון לצד מאגר תמונות סטטיות. שתי הרמות הגבוהות יותר מתמקדות באוטומציה של משימות ובשיתוף פעולה מורכב של סוכנים.

איסוף המידע מכסה חלונות, מק, לינוקס, אנדרואיד, אייפון וסביבות ווב. הצוות אסף ועיבד את המידע באמצעות תהליך חצי אוטומטי שנועד לבחון דיוק ויזואלי והבנה. בנוסף הם ביצעו סינון ידני שפסל משימות אונליין שלא ניתנות להשלמה עקב חסימות רשת או מגבלות חשבונות משתמש.

מתאים ל

• מדידת יכולות לוקליזציה

  בדיקת הדיוק של מודל ראייה באיתור כפתורים ותפריטים במערכות הפעלה שונות.

• הערכת הבנת ממשקי משתמש

  בחינת היכולת לחלץ מידע טקסטואלי וויזואלי מתוך צילומי מסך מורכבים.

• בנצ'מרק לסוכני אוטונומיה

  מדידת יעילות הביצוע של סוכנים ממוחשבים לפי מדד המאזן דיוק ומספר צעדים.

איפה זה נופל

במאגר הנוכחי זמינים קובצי תיוג רק עבור שתי הרמות הראשונות, בעוד שמידע מלא על הרמות הגבוהות של האוטומציה נשען על קוד חיצוני וסביבות הרצה שלא פורטו במלואן בכרטיס. התיעוד לא מציין תמיכה בעברית או בשפות שאינן אנגלית בממשקים. בנוסף, מודלים שייבחנו כאן עשויים לייצר שלבים מיותרים רבים גם במשימות מוצלחות, תופעה שהחוקרים מצביעים עליה ככשל רוחבי של מודלים קיימים.

איך טוענים

טעינת הנתונים דורשת הורדה ידנית של קובץ ארכיון התמונות וחילוצו תחת נתיב מוגדר, לצד קובצי התיוג L1_annotations ו־L2_annotations. המאגר ציבורי לחלוטין ואינו דורש אישור גישה מראש. ההערכה המעשית מתבססת על כלי VLMEvalkit, כאשר הריצה נשענת על נתיבי התמונות לפי מערכות ההפעלה השונות ומבני התיוגים המצורפים.

from datasets import load_dataset

ds = load_dataset("OpenGVLab/MMBench-GUI")

הרישיון

הפרויקט מופץ תחת רישיון אפאצ'י שתיים אפס. מותר להשתמש במידע לצרכים מסחריים ומחקריים, לשנות אותו ולשלב אותו במערכות אחרות. הרישיון מחייב מתן ייחוס מתאים ושמירה על הודעות זכויות היוצרים המקוריות, ואינו כופה שחרור של מודלים שאומנו עליו תחת אותו הרישיון בדיוק.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗