AMEX
קוד פתוחYuxiang007cc-by-4.02024-06-12
מאגר לאימון סוכני בינה מלאכותית שמפעילים ממשקי אנדרואיד. הוא מספק צילומי מסך יחד עם שרשראות פעולה ותיוגים של אלמנטים גרפיים.
- 1,425הורדות בחודש
- 30לייקים
מה זה
המאגר מבוסס על צילומי מסך מתוך אנדרואיד ומחולק לשלושה רכיבים עיקריים. הראשון כולל הוראות הפעלה יחד עם שרשראות של פעולות בממשק, השמורות בקובצי JSON. הרכיב השני מכיל תיוגים של אלמנטים גרפיים כמו תיבות תוחמות, תיאורי פונקציונליות ותיאורים של המסכים עצמם, גם הם בפורמט JSON. הרכיב השלישי מרכז את קובצי התמונות של צילומי המסך שנאספו.
היוצרים ארגנו את המידע לפי רמות שונות לצורכי אימון, כולל L1, L2 ו־L3, כאשר כל רמה מתייחסת לעומק שונה של פעולה או מרחב פעולות בממשק. המאגר כולל תיקיית דוגמה לבדיקה מהירה, לצד תיקייה המכילה את כלל המידע המלא שהועלה לרשת.
מתאים ל
- זיהוי אלמנטים בממשק
אימון מודלים לזיהוי תיבות תוחמות ותפקידי כפתורים באפליקציות לפי התיוגים ב־element_anno.
- אימון סוכני פעולה
לימוד מודלים לבצע משימות רב שלביות באנדרואיד על בסיס רצפי הפעולות שנשמרו ב־JSON.
- הערכת ביצועי מודל
בדיקת הדיוק של מודלים בניווט ממשקי מובייל בהשוואה לשרשראות הפעולה המתועדות.
איפה זה נופל
התיעוד במאגר חסר מאוד. אין פירוט על האפליקציות שמהן צולמו המסכים, הגרסאות שלהן, או השפות שמופיעות בממשקים, כך שאין שום הבטחה לתמיכה בעברית. בנוסף, הכותבים מודים שמרחב הפעולות של רמה L3 שונה מזה של בנצ'מרקים מקובלים כמו AndroidControl. המשמעות היא שלא כל שרשרת פעולות במאגר תתאים ישירות למודלים קיימים בלי התאמה של סכמת הפעולות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, המאגר פורסם ברישיון cc-by-4.0 שמתיר שימוש מסחרי מלא. כל מה שנדרש מכם מבחינה משפטית הוא לתת קרדיט נאות ליוצרי המאגר. אין מניעה לאמן מודלים שיוטמעו במוצרים סגורים.
האם יש במאגר תמיכה בעברית?
הדף הרשמי של המאגר לא מציין אילו שפות קיימות בממשקים שצולמו. רוב הסיכויים שמדובר באנגלית בלבד או בשפות נפוצות אחרות ששימשו את החוקרים. אם אתם בונים כלי לממשקים בעברית, תצטרכו לדגום את התמונות ולבדוק זאת בעצמכם לפני שתתחילו לאמן.
איך מחלצים את צילומי המסך אחרי ההורדה?
בגלל הנפח הגדול, צילומי המסך פוצלו למספר קבצים כמו z01 ו־z02. אי אפשר לפתוח אותם ישירות בתוכנת חילוץ רגילה. יש להריץ פקודת איחוי בטרמינל כדי לייצר קובץ zip מאוחד, ורק ממנו לחלץ את התמונות.
למה המאגר לא תואם לחלוטין לבנצ'מרק של AndroidControl?
החוקרים מציינים במפורש שרמה L3 במאגר שלהם עושה שימוש במרחב פעולות שונה מזה של גוגל. לכן בניסויים שלהם הם השתמשו רק ברמות L1 ו־L2. אם המערכת שלכם בנויה על ההגדרות של AndroidControl, תצטרכו להמיר את הפעולות או לוותר על חלק מהנתונים.
איך טוענים
אין צורך באישור גישה מיוחד כדי להוריד את הקבצים, אך פריסת המידע דורשת עבודה ידנית. צילומי המסך פוצלו למספר קובצי ארכיון בסיומות ממוספרות עקב גודלם. לאחר הורדת כל החלקים יש לאחות אותם מחדש באמצעות פקודת zip עם דגל התיקון, ורק אז לחלץ את התמונות. שאר התיוגים מגיעים ישירות בארכיוני zip רגילים המכילים קובצי JSON, אותם ניתן לטעון בקלות לקוד עיבוד הנתונים שלכם.
from datasets import load_dataset
ds = load_dataset("Yuxiang007/AMEX")הרישיון
המאגר מופץ תחת רישיון cc-by-4.0. הרישיון הזה מתיר שימוש חופשי, כולל שימוש מסחרי והתאמה של הנתונים לצרכים שלכם. התנאי המרכזי הוא מתן קרדיט מתאים ליוצרים המקוריים לפי הציטוט שפרסמו. אין דרישה לשתף נתונים נגזרים או מודלים שתאמנו תחת אותו הרישיון.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס