tianbaoxiexxx/Jedi

מה זה

מזינים תמונה של שולחן עבודה או אפליקציה והוראה טקסטואלית קצרה, כמו בקשה ללחוץ על קישור או כפתור מסוים. בתמורה מקבלים פעולת מחשב מוגדרת עם סוג לחיצה, קואורדינטות מספריות של הפיקסלים, ותמונה מסומנת ויזואלית שמראה בדיוק איפה המודל בחר לפעול.

מאחורי הקלעים רץ המודל Jedi-7B-1080p, שמבוסס על ארכיטקטורת Qwen2.5-VL ומכוון להבנת ממשקי משתמש ברזולוציית מסך מלאה. המערכת מחזירה מבנה פונקציה מסוג computer use, הכולל פעולות כמו הקלדה, הזזת עכבר, גרירה או לחיצה כפולה לפי המטרות שהוגדרו מראש.

מתאים ל

• איתור כפתורים לאוטומציה

  זיהוי מיקום פיקסלים מדויק של שדות טקסט וכפתורים מתוך תמונת מסך לטובת סקריפטים.

• בדיקת ממשקי משתמש

  בחינת היכולת של מודל ראייה ממוחשבת להבין אלמנטים גרפיים מורכבים ברזולוציית 1080p.

• הזנת נתונים לסוכני מחשב

  חילוץ פקודות לחיצה והקלדה מובנות מתוך הוראות משתמש בשפה טבעית.

איפה זה נופל

ההדגמה נמצאת כרגע במצב של תקלת הרצה ולא מייצרת פלט חי בדפדפן. בנוסף, היא מוגבלת לזיהוי נקודתי בתמונה בודדת ואינה מריצה סוכן אוטונומי שמבצע לחיצות בפועל על המחשב שלכם, כך שנדרש קוד נוסף כדי להפוך את הקואורדינטות לאוטומציה אמיתית.

איך משתמשים

טוענים צילום מסך לתיבת הקלט, כותבים הוראה פשוטה ולוחצים על Submit. התשתית מוגדרת לרוץ על מאיץ גרפי מסוג A10G עם זיכרון דינמי, אך נכון לעכשיו העמוד מציג שגיאת זמן ריצה ולא מגיב לפעולות. כשהקוד יתוקן, העיבוד על חומרה כזו צפוי לקחת שניות בודדות לכל תמונה.

הרישיון

הפרויקט מפורסם תחת רישיון cc-by-4.0 שמתיר שימוש, הפצה והתאמה, כולל מטרות מסחריות, כל עוד נותנים קרדיט ליוצרים. שימו לב שהתמונות והטקסטים שאתם מעלים מועברים לשרת ההדגמה של Hugging Face ואינם מיועדים למידע רגיש.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗