GUI-Net-1M
קוד פתוחBofeee5675apache-2.02025-04-09
המאגר מרכז נתוני ממשק משתמש ותמונות בהיקף נרחב המיועדים לפיתוח סוכני מחשב ואוטומציה. הוא נשען על תהליך העבודה של פרויקט TongUI ופונה למי שמאמן מודלים לפעולה מול מסכים.
- 7,384הורדות בחודש
- 18לייקים
מה זה
המאגר מכיל קובצי תמונות מרובים שמחולקים לחלקים קטנים בגלל נפח המידע. לפי שמות הקבצים וההפניות, הנתונים כוללים צילומי מסך ותיעוד פעולות מתוך Baidu Experience ומקורות וידאו של ממשקי משתמש, שנועדו להדגים אינטראקציה שלב אחר שלב. המידע נאסף ועובד באמצעות הצינור שפותח עבור מאמר TongUI, והשפות המדווחות עבורו הן אנגלית וסינית.
המבנה הפנימי מורכב מ־214 קבצים נפרדים, כשהתמונות חולקו לארכיונים בפורמט מפוצל כדי לאפשר אחסון והורדה. הכרטיס עצמו לא מפרט תגיות או מטא-דאטה מובנה מעבר לקובצי התמונות המפוצלים ולסקריפט הפריסה, כך שעיקר המידע הוא תמונות גולמיות של ממשקים. כדי להבין את מבנה הרשומות המלא, אופן הסינון המדויק וכללי ההכללה של הנתונים, צריך לפנות למאגר הגיטהאב ולמאמר האקדמי שצוינו בדף.
מתאים ל
- אימון סוכני ממשק משתמש
לימוד מודלים חזותיים להבין צילומי מסך ולזהות רכיבי ממשק מתוך תמונות Baidu.
- ניתוח רצפי פעולות במסך
שימוש בקובצי הווידאו של הממשקים לפיתוח יכולת זיהוי שלבי עבודה עוקבים במחשב.
- הערכת ביצועי מודלי ראייה
בדיקת הדיוק של מודלים בהבנת אלמנטים גרפיים בשפות אנגלית וסינית.
איפה זה נופל
אין כאן תיעוד של ממש בעמוד הדאטהסט, וכל הפרטים המהותיים על אופן הסינון וההרכב נמצאים במאמר החיצוני. הנתונים מתמקדים באנגלית ובסינית, ללא תמיכה בעברית או בממשקים מקומיים מישראל. חסר גם פירוט על הטיות אפשריות, גיל הממשקים שנלכדו או סינון מידע רגיש ואישי שהופיע בצילומי המסך, ולכן אי אפשר להכניס אותו לסביבה מסחרית בלי בדיקה ידנית של התכנים שנפרסו.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון המדווח הוא apache-2.0, שמאפשר שימוש מסחרי מלא. עליכם לכלול קרדיט ולצרף את נוסח הרישיון בהפצה, אך אין דרישה לפתוח את הקוד של המוצר שלכם. מודל שאומן על הנתונים אינו מחויב ברישיון פתוח.
האם הדאטהסט כולל ממשקים בשפה העברית?
המאגר מוגדר רשמית עבור אנגלית וסינית בלבד. אין בו תיעוד של ממשקים בעברית או תמיכה ביישור מימין לשמאל. אם המטרה שלכם היא מודל ייעודי לשוק המקומי, תצטרכו להשלים נתונים בעצמכם.
איך מחלצים את התמונות והנתונים מהמאגר?
ההורדה כוללת 214 קבצים מפוצלים שלא נטענים ישירות דרך פקודת קוד פשוטה. צריך להוריד את הקבצים לכונן המקומי ולהריץ את סקריפט הבאש שמספקים היוצרים כדי לאחד ולפתוח את הארכיונים. שימו לב שיש להתאים בסקריפט את שמות הקבצים לפי סוג המידע שאתם מחלצים.
איך טוענים
טעינת הדאטהסט לא מתבצעת בשורה אחת דרך הספרייה הרגילה. מדובר ב־214 קבצים מפוצלים, כך שצריך קודם להוריד את המאגר כולו מקומית. כדי לחלץ את התמונות מריצים סקריפט באש ייעודי שמאחד ופותח את החלקים, תוך הגדרת נתיב המקור ונתיב היעד. יש לשים לב שהסקריפט מבדיל בין קובצי התמונות של Baidu לבין קובצי הווידאו של הממשקים.
from datasets import load_dataset
ds = load_dataset("Bofeee5675/GUI-Net-1M")הרישיון
המאגר מפורסם ברישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה, ודורש מתן קרדיט מתאים ושמירה על תנאי הרישיון המקוריים. הוא אינו כופה עליכם לשחרר את הקוד או את המודל שלכם באותו רישיון. אם תאמנו מודל על גבי הנתונים האלה, תוכלו להשתמש בו באופן חופשי בכפוף לעמידה בתנאי הקרדיט של הרישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים