Holo1-Navigation

מה זה

אתם מעלים צילום מסך של ממשק משתמש וכותבים הוראה לביצוע, כמו חיפוש או לחיצה על כפתור. בתגובה מקבלים טקסט שמגדיר את הפעולה הבאה. הפלט כולל נימוק קצר, מידע שחולץ מהמסך, ופעולה קונקרטית כמו לחיצה בקואורדינטות מדויקות, כתיבת טקסט, גלילה, מעבר לכתובת אחרת או המתנה.

מאחורי הקלעים רץ המודל Holo1-7B, שמבוסס על ארכיטקטורת ראייה ושפה ומעבד תמונות בעזרת smart resize כדי לזהות אלמנטים גרפיים. הקוד מגדיר מראש מבנה פעולות קשיח עם הגבלות גובה, רוחב וכיווני גלילה.

מתאים ל

• בדיקת מיקום אלמנטים

  זיהוי קואורדינטות מדויקות לכפתורים ושדות קלט מתוך צילום מסך.

• תכנון צעדי אוטומציה

  קבלת החלטה על הפעולה הבאה בתסריטי בדיקות תוכנה מבוססי ראייה.

• ניתוח הוראות משתמש

  בדיקה אם המודל מבין משימות טקסטואליות מורכבות על גבי ממשק גרפי.

איפה זה נופל

ההדגמה מציגה צעד בודד בכל פעם ולא מנהלת סשן גלישה חי. היא לא פותחת דפדפן אמיתי, לא לוחצת פיזית על שום דבר ולא מעדכנת את העמוד בעקבות התוצאה. בנוסף, המודל מחזיר קואורדינטות לפי התמונה שהזנתם, כך שאם הרזולוציה שונה מהאתר האמיתי הפעולה לא תפגע במטרה.

איך משתמשים

טוענים תמונה, מקלידים את המשימה ולוחצים על כפתור הניווט. נכון לעכשיו המרחב נמצא במצב מושהה והחומרה שמוגדרת לו היא מעבד בסיסי בלבד. זה אומר שאי אפשר להריץ אותו ישירות בדפדפן כרגע בלי להפעיל מחדש את המכונה, וכשזה ירוץ על מעבד ללא מאיץ גרפי, החישוב של מודל שבעה מיליארד פרמטרים ייקח זמן רב.

הרישיון

הרישיון של המרחב לא דווח. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד או בפלטים, וכדאי לבדוק את תנאי המודלים Holo1 עצמם לפני שמשלבים אותם בעבודה.

הרישיון המלא ב־Hugging Face ↗