CAGUI
קוד פתוחopenbmbcc-by-nc-4.02025-05-08
מאגר לבדיקת סוכני בינה מלאכותית על ממשקי אנדרואיד בסינית, עם צילומי מסך וצעדי פעולה מוקלטים. הוא מתאים למי שבונה מודלים להפעלת אפליקציות וצריך נתוני קרקוע ותכנון.
- 1,597הורדות בחודש
- 25לייקים
מה זה
המאגר מציע הקלטות של ממשקי אנדרואיד אמיתיים מתוך אפליקציות סיניות, ומחולק לשני חלקים עיקריים שבודקים יכולות שונות. החלק הראשון מתמקד בקרקוע, כלומר זיהוי רכיבים על המסך, קישור טקסט וכפתורים לקואורדינטות ופענוח טקסט מתמונה. חלק זה מגיע בשני קובצי JSONL יחד עם תמונות מתאימות.
החלק השני מיועד להערכת סוכנים ומכיל תרחישים מרובי צעדים. בכל תרחיש יש קובץ JSON שמפרט רשימת שלבים מלאה, כולל הוראת המשתמש, קובצי צילומי מסך בפורמט JPEG לכל שלב, תיבות גבול מנורמלות של רכיבי הממשק, וסוג הפעולה שבוצעה כמו לחיצה רגילה, לחיצה ארוכה, גלילה או הקלדה יחד עם קואורדינטות מגע מדויקות ומשך הפעולה.
מתאים ל
- הערכת סוכני ממשק
בדיקת יכולת המודל לתכנן צעדים רצופים, ללחוץ על אלמנטים ולהקליד טקסט בממשק אנדרואיד לפי הוראות.
- אימון זיהוי אלמנטים
מיפוי הוראות טקסטואליות ופקדי מסך לקואורדינטות פיזיות מדויקות של כפתורים ותפריטים.
- מבחני OCR במובייל
בחינת יכולות ראייה ממוחשבת לחילוץ טקסט סיני מתוך תמונות ממשק מורכבות של טלפונים ניידים.
איפה זה נופל
כל הטקסטים והממשקים כאן הם בשפה הסינית בלבד ומתוך אפליקציות סיניות מקומיות. אין כאן מילה בעברית או באנגלית, ודפוסי העיצוב של האפליקציות ייחודיים לשוק המזרחי. אם אתם בונים כלי לממשקים מקומיים בישראל או לעיצובי מערכת מערביים, הנתונים האלה לא יעזרו בלי התאמה עמוקה. בנוסף, מדובר בצילומי מסך קבועים ולא בסביבת ריצה חיה, כך שאי אפשר לבחון תגובה בזמן אמת לשינויים במסך. היוצרים גם מציינים שצילומי המסך נאספו מאפליקציות ציבוריות ועלולים לדרוש הסרה במקרה של בעיות רגולציה מקומית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון הוא cc-by-nc-4.0, מה שאוסר כל שימוש מסחרי מכל סוג שהוא. הוא נועד למחקר בלבד, וכל מודל שתאמנו עליו לא יוכל להימכר או לשרת מוצר מסחרי.
האם יש במאגר תמיכה בעברית?
אין במאגר עברית בכלל. כל ההוראות, תיאורי האלמנטים וממשקי האפליקציות הם בשפה הסינית בלבד. אם המטרה שלכם היא אפליקציות מקומיות או ממשקים בעברית, המאגר הזה ידרוש התאמות ותרגומים כבדים.
איך הנתונים נאספו ונשמרו?
הנתונים נלקחו מתוך אפליקציות אנדרואיד אמיתיות הפועלות בסין. היוצרים הקליטו רצפי שימוש שכוללים צילומי מסך של כל צעד, הגדירו את הפעולות שבוצעו כמו מגע או הקלדה, והוסיפו תיוגים של קואורדינטות הרכיבים ותיאורי הטקסט.
מה שונה בין חלק ה־Grounding לחלק ה־Agent במאגר?
חלק ה־Grounding מתמקד בתמונה בודדת ובוחן האם המודל מזהה איפה נמצא רכיב מסוים או מה הטקסט במיקום ספציפי. לעומת זאת, חלק ה־Agent מורכב מתרחישים שלמים של מספר צעדים עוקבים שנועדו לבדוק ביצוע משימה מלאה באפליקציה מתחילתה ועד סופה.
איך טוענים
המאגר זמין להורדה ישירה ללא צורך בבקשת גישה מיוחדת, ומכיל 8,120 קבצים הכוללים אלפי תמונות JPEG ומבנה תיקיות מקונן של תרחישים. טוענים אותו ישירות דרך קריאת קובצי הנתונים המקומיים ולא כטבלה רגילה במודול datasets. בחלק של הסוכנים תצטרכו לקרוא את קובצי ה־JSON מתיקיית התרחישים, לשלוף את נתיבי התמונות היחסיים ולפענח את שדות המגע והקואורדינטות. קוד פעולות הממשק מפנה למיפוי חיצוני במאגר הגיטהאב של הפרויקט AgentCPM-GUI, ולכן מומלץ להוריד משם את קובץ המיפוי כדי לפרש את המספרים לפעולות ממשיות.
from datasets import load_dataset
ds = load_dataset("openbmb/CAGUI")הרישיון
המאגר מופץ תחת רישיון cc-by-nc-4.0. המשמעות פשוטה: השימוש מותר אך ורק למחקר שאינו מסחרי, וחובה לתת קרדיט ליוצרים. אסור בשום אופן לשלב את הנתונים באימון מודל מסחרי, בבדיקת מוצר שנמכר ללקוחות או בכל פעילות שמייצרת רווח.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא