Click-100k
קוד פתוחmlfoundationsרישיון לא דווח2025-10-27
מאגר נתונים לאימון סוכני שימוש במחשב שמחבר בין צילומי מסך, הוראות טקסטואליות וקואורדינטות לחיצה מדויקות. הוא נוצר כדי להתמודד עם דוגמאות פשוטות מדי ואי התאמות שקיימות במאגרים קודמים.
- 485הורדות בחודש
- 21לייקים
מה זה
הרשומות במאגר מייצגות לחיצות על ממשקי משתמש במחשב. כל רשומה כוללת תמונת מסך, נתיב תמונה, הנחיה טקסטואלית לאיתור האלמנט, מידות מסך בפיקסלים ותיחום של אזור הלחיצה הן בפיקסלים מוחלטים והן בערכים מנורמלים שנעים בין אפס לאחד.
הבסיס נאסף משילוב של מאגרי נתונים ציבוריים מוכרים כמו ShowUI, OS-Atlas, Jedi ונוספים, לצד חילוץ מתוך סרטוני הדרכה של שמונים וחמש תוכנות מקצועיות. כדי למנוע הטיה לטובת מקור יחיד, המפתחים הגבילו כל מקור עד לתקרה של חמישים אלף דוגמאות, ואיחדו את כולם לפורמט אחיד.
תהליך הסינון נשען על מספר מודלים כדי להסיר רעש. OmniParser פסל לחיצות שלא נפלו על רכיבי ממשק מזוהים, Qwen2.5-7B-VL ניקה צילומים שאינם מסכי מחשב ודוגמאות טריוויאליות, והמודל GTA1-7B-2507 סינן דוגמאות שבהן הטקסט לא תאם לאזור הלחיצה. בנוסף נחתכו החוצה תיבות סימון שתפסו מעל חמישה אחוזים משטח המסך.
מתאים ל
- אימון סוכני מחשב אוטונומיים
לימוד מודלים לזהות כפתורים ותפריטים במערכות הפעלה ולהחזיר קואורדינטות לחיצה מדויקות.
- הערכת ביצועי ראייה ממוחשבת
בדיקת יכולת המודל לאתר רכיבי ממשק מורכבים בתוכנות מקצועיות על פי תיאור חופשי.
- כוונון למידת חיזוק לממשקים
שימוש בפורמט ההנחיות המובנה לטובת אופטימיזציה של צעדי פעולה בסביבות שולחן עבודה.
איפה זה נופל
הנתונים עברו סינון אגרסיבי במודלים אוטומטיים, מה שאומר שהטיות או עיוורון של אותם מודלים מסננים עברו ישירות לתוך התוצאה הסופית. המפתחים עצמם מודעים לבעיות אמינות והוציאו מהאימון שלהם דוגמאות שמקורן ב־SeeClick, PixMo ו־UGround עקב תיוגים מעורפלים. בנוסף, כל ההנחיות והממשקים מוצגים באנגלית, ואין כאן ייצוג לממשקים בעברית או תמיכה ביישור מימין לשמאל.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא כדאי להסתמך עליו במוצר מסחרי. בעמוד לא צוין רישיון רשמי, והנתונים כוללים מידע שנוצר בעזרת מודלים מסחריים כמו קלוד של אנתרופיק לצד גזרי מאגרים חיצוניים. מצב כזה חושף ארגונים לסיכוני זכויות יוצרים ותנאי שימוש נוקשים.
איך הדאטהסט הזה שונה ממאגרי ממשק קודמים?
הוא מנסה לפתור את בעיית הלחיצות הפשוטות מדי והתיוגים השגויים שאפיינו מאגרים ותיקים. במקום להסתפק בהורדות רשת ישירות, המפתחים הפעילו שרשרת סינון מבוססת מודלים שפסלה לחיצות מחוץ לאלמנטים ותיבות גדולות מחמישה אחוז מהמסך. בנוסף, שולבו בו נתונים של שמונים וחמש תוכנות מקצועיות ולא רק אתרי אינטרנט.
האם המאגר כולל תמיכה בממשקים בעברית?
לא, אין במאגר תמיכה בממשקים בעברית. כל ההנחיות נכתבו באנגלית ומסכי המחשב שנלכדו מציגים תוכנות באנגלית. שימוש בו עבור סוכנים שצריכים לפעול מול ממשקים מקומיים בישראל ידרוש איסוף והתאמה של נתונים ייעודיים.
כמה קבצים כולל המאגר ואיך הם מאורגנים?
המאגר כולל שישים ושישה קבצים, מתוכם שישים וארבעה קובצי Parquet המכילים את נתוני האימון בפועל. החלוקה למקטעים מאפשרת הזרמה ועיבוד מקבילי בלי לטעון את כל הנפח לזיכרון בבת אחת. לצדם מצורפים קובצי תיעוד המגדירים את מבנה השדות.
איך טוענים
המאגר מבוסס על שישים וארבעה קובצי Parquet שונים תחת תיקיית data, בצירוף קובץ תיעוד. הטעינה נעשית בקריאה רגילה לקובצי Parquet של הדאטהסט ללא צורך בהרשאת גישה מיוחדת או אישור מוקדם. הרשומות מחזיקות אובייקטי תמונה של PIL לצד הנחיה מוכנה בשם easyr1_prompt ומיקומי הקואורדינטות בתיחום המנורמל, כך שאפשר להזין אותם ישירות לתהליכי אימון של מודלי ראייה ושפה.
from datasets import load_dataset
ds = load_dataset("mlfoundations/Click-100k")הרישיון
היוצרים לא דיווחו על רישיון שימוש בעמוד המאגר. מבחינה מעשית ומבחינה משפטית, היעדר רישיון מגדיר את החומר כבעל זכויות שמורות ולא מאפשר שימוש מסחרי בטוח. בנוסף, המאגר מורכב מתוצרי לוואי של מאגרים פתוחים שונים שחלקם עשויים להחזיק ברישיונות משלהם, לצד מידע שנוצר באמצעות מודלים כמו Claude, כך שאימון מודל מסחרי עליו מייצר סיכון ממשי.