MobileViews
קוד פתוחmllmTeammit2024-09-25
מעל 600,000 צילומי מסך של אפליקציות אנדרואיד יחד עם עץ הרכיבים שלהם ותיעוד פעולות. זה בסיס נתונים רחב למי שבונה סוכנים חכמים שצריכים להבין ממשקי מובייל ולנווט בהם בעצמם.
- 1,986הורדות בחודש
- 45לייקים
מה זה
המאגר מורכב משני חלקים עיקריים שנאספו ממעל 20,000 אפליקציות ב־Google Play באמצעות כלי אוטומציה מבוסס DroidBot. החלק הראשון מכיל צמדים של צילום מסך ועץ היררכיה תואם, שעברו ניקוי כפילויות מלא לפי האש של התמונה כדי למנוע חזרות על אותם מצבי מסך. בנוסף ישנו קובץ מטא-דאטה מקיף על כל אפליקציה, הכולל מחירים, דירוגים, קטגוריות וכמויות הורדה.
החלק השני מתמקד ברצפי שימוש מלאים. לכל אפליקציה יש תיקייה עם צילומי המסך, עצי היררכיה בפורמט JSON שחולצו משירותי הנגישות ו־XML שחולצו דרך ADB, וקובץ פעולות שמתעד מעברים בין מסכים יחד עם מיקומי הלחיצה או הגלילה. התוכן הזה מאורגן בארכיבי זיפ שמכילים כמאתיים אפליקציות בכל מקבץ.
מתאים ל
- אימון סוכני GUI למובייל
לימוד מודלים רב-מודאליים לחזות את הפעולה הבאה במסך בהתבסס על רצפי המעברים והקואורדינטות בתיעוד.
- מיפוי אלמנטים בתמונה לקוד
תרגום צילום מסך של אפליקציה לעץ היררכיה מובנה של רכיבי ממשק משתמש לצורכי פיתוח ובדיקות אוטומטיות.
- מענה לשאלות על ממשקים
בניית מודלים שמזהים כפתורים, שדות קלט וטקסטים כדי לענות על שאלות משתמשים לגבי תפעול אפליקציות.
איפה זה נופל
האיסוף כולו נעשה באנגלית ומתוך חנות האפליקציות של גוגל בלבד, כך שאין כאן ייצוג לעברית, לממשקי ימין-שמאל או לאפליקציות iOS. מכיוון שהדאטה נאסף על ידי בוט אוטומטי, הניווט מוגבל למה שזמין ללא רישום מורכב או הזנת אמצעי תשלום, מה שמשאיר חלקים עמוקים של אפליקציות מחוץ לתחום. כדאי לזכור שצילומי מסך מהעולם האמיתי כוללים פרסומות ומידע משתנה שעלול להכיל זיהויים לא רצויים.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה לפיתוח מוצר מסחרי?
כן, הרישיון המוגדר הוא MIT שמתיר במפורש שימוש מסחרי מלא. התנאי היחיד הוא שמירת הצהרת הרישיון וזכויות היוצרים של היוצרים המקוריים בכל עותק או חלק מהותי של הנתונים.
האם יש במאגר ייצוג לממשקים בעברית?
לא. הנתונים מתועדים באנגלית בלבד ונאספו מחשבונות וחנות ברירת מחדל באנגלית. אם המוצר שלכם מיועד לתמיכה ביישור ימין-שמאל או טקסטים מקומיים, תצטרכו לאסוף מידע משלכם.
איך נאסף המידע על המעברים בין המסכים?
החוקרים הפעילו גרסה מותאמת של DroidBot, כלי שחוקר אפליקציות אנדרואיד באופן אוטומטי. הכלי לחץ, גלל ותיעד את המצב לפני הפעולה, אחריה, ואת הרכיב המדויק שבו בוצעה האינטראקציה.
כמה מקום צריך לפנות בדיסק כדי לעבוד עם הנתונים?
המון. רק ארכיב זיפ בודד של כ־150 אלף מסכים שוקל כ־23 ג'יגה-בייט, והמאגר כולו מכיל מעל 600 אלף מסכים ועוד עשרות קובצי עקבות של אלפי אפליקציות. מומלץ לעבוד עם קובצי ה־Parquet הספציפיים שמעניינים אתכם.
איך טוענים
הנתונים זמינים להורדה ישירה דרך ספריית Hugging Face Hub או ה־CLI, בלי צורך בטופס גישה מיוחד אבל עם דרישה לטוקן משתמש. צמדי המסכים מחולקים לקובצי Parquet שכוללים את התמונות כמידע בינארי ואת עץ המבנה בפורמט טקסט, לצד ארכיבי זיפ רגילים עם קובצי תמונה ו־JSON נפרדים. כל קובץ זיפ מכיל עשרות ג'יגה-בייט, כך שכדאי להוריד מראש רק את המקטעים הרלוונטיים ולא את כל 124 הקבצים בבת אחת.
from datasets import load_dataset
ds = load_dataset("mllmTeam/MobileViews")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון מאפשר שימוש מסחרי ומחקרי חופשי, כולל עריכה, שינוי והפצה, כל עוד שומרים על הודעת זכויות היוצרים המקורית. אין כאן דרישה לשתף תוצרים באותו רישיון, ומותר לאמן מודלים ללא מגבלות על הקניין הרוחני של המשקלים שנוצרו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש