Jedi
קוד פתוחxlangaiapache-2.02025-04-28
המאגר מרכז נתוני הצבעה ועיגון אלמנטים בממשקי משתמש, כולל שילוב נתונים מעובדים מסביבות שולחניות ומובייל. הוא מכוון ישירות למי שמאמן סוכני ראייה חישובית למחשב ומחפש דיוק קואורדינטות ברמת הפיקסל.
- 1,826הורדות בחודש
- 29לייקים
מה זה
הנתונים מתחלקים לארבע קטגוריות שנבנו מראש: אייקונים, רכיבי ממשק, פריסות מסך ומקרי סירוב שבהם הרכיב לא מופיע. בנוסף לאלה, המאגר כולל חבילה בשם aguvis++ שמעבדת מחדש נתונים קודמים מפרויקטי AGUVIS וסביבת שולחן העבודה של OS-ATLAS. המבנה הפנימי מאורגן בקובצי jsonl לפי מקורות שונים כמו שליטה באנדרואיד, שאלות ותשובות על מסמכים וממשקי ווב.
קובצי הטקסט והמטא-דאטה במאגר כוללים תיאורי טקסט וקואורדינטות של רכיבים. עם זאת, עבור חלק מהנתונים מתוך aguvis++, המאגר מספק את שכבת הטקסט בלבד, ואת קובצי התמונות המקוריים תצטרכו להוריד בנפרד מהמאגרים המקוריים של אותם פרויקטים ולהתאים את הנתיבים לבד.
מתאים ל
- אימון סוכני הפעלת מחשב
לימוד מודלים מולטימודליים לאתר כפתורים, תפריטים ואייקונים בממשקי מסך כדי לבצע לחיצות מדויקות.
- זיהוי אלמנטים באנדרואיד
שימוש בקובצי המובייל הייעודיים לאימון זיהוי פקדים ורכיבי ממשק במערכות הפעלה לטלפונים.
- בדיקת מקרי קצה וסירוב
אימון המערכת לזהות מתי פקודה מבקשת אלמנט שלא קיים במסך כדי למנוע לחיצות שגויות.
איפה זה נופל
הבעיה המרכזית היא תלות ישירה בהגדרות עיבוד תמונה של מודל ספציפי, מה שמקשה על שימוש פשוט במודלים שלא עובדים באותה שיטה. בנוסף, המאגר לא עצמאי לחלוטין ומחייב השלמת תמונות ממקורות חיצוניים כדי להשתמש בחלק מנתוני aguvis++. אין בכרטיס שום פירוט על שפות הממשק שנבדקו, תמיכה בעברית או יישור מימין לשמאל, כך שסביר להניח שהמיקוד הוא בממשקים באנגלית בלבד.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה במוצר מסחרי?
כן, הרישיון הוא apache-2.0 ומאפשר שימוש מסחרי מלא. תוכלו לאמן עליו מודלים פנימיים או מוצרים שנמכרים ללקוחות, כל עוד תצרפו את תנאי הרישיון והקרדיט המקורי.
האם כל התמונות נמצאות בתוך המאגר?
לא כולן. המאגר מכיל את כל הטקסטורות והתמונות של הרכיבים הסינתטיים, אך עבור חלק מנתוני aguvis++ מופיעים רק קובצי הטקסט. את התמונות עבור חלקים אלה צריך להוריד ישירות מהמאגרים של AGUVIS ו־OS-ATLAS ולחבר אותן לפי הנתיבים.
האם הדאטהסט מתאים לממשקים בעברית?
כרטיס הדאטהסט לא מזכיר תמיכה בעברית או שפות שנכתבות מימין לשמאל. הנתונים מתבססים על סביבות מערכת ומסמכים סטנדרטיים שלרוב מוגדרים באנגלית, כך שתידרש בדיקה ידנית של הקבצים כדי לראות אם יש שם דוגמאות מקומיות.
למה הקואורדינטות לא מתאימות לתמונות המקוריות?
הנתונים עברו התאמה ייעודית למעבד התמונה של Qwen2.5-VL עם הגדרת גודל של 2700 טוקנים. כדי שהקואורדינטות יתאימו, אתם חייבים להקטין את התמונות באותו האופן בדיוק לפני ההזנה למודל.
איך טוענים
טוענים את קובצי ה־jsonl ישירות מהמאגר, שכולל 87 קבצים ללא צורך באישור גישה מוקדם. לפני שמתחילים לרוץ, יש מלכודת משמעותית עם מעבד התמונה: הקואורדינטות בדאטהסט הותאמו למעבד של Qwen2.5-VL עם הגבלת max_tokens של 2700, שמתורגמת למגבלת פיקסלים מדויקת. אם לא תבצעו שינוי גודל תואם לתמונות בזמן האימון בדיוק לפי המפתח הזה, נקודות הציון לא ישבו על הרכיבים הנכונים והאימון ייכשל.
from datasets import load_dataset
ds = load_dataset("xlangai/Jedi")הרישיון
המאגר מופץ תחת רישיון apache-2.0, שמאפשר שימוש מסחרי, שינוי והפצה של הנתונים והמודלים שמאומנים עליהם. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והצהרת הרישיון המקורית. הרישיון לא מחייב אתכם לפתוח את הקוד או את המודל שתאמנו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים