Magma-UI

מה זה

אתם מעלים תמונת מסך ומזינים הנחיה טקסטואלית. בתמורה מקבלים תמונה שבה כל האלמנטים סומנו בתיבות או עיגולים, לצד פירוט טקסטואלי של מה שנמצא על המסך ומה כדאי להפעיל.

מאחורי הקלעים רץ שילוב כבד של כמה כלים. המערך טוען את Magma-8B של מיקרוסופט לצד רכיבי OmniParser בגרסה 2, מנוע Florence-2-base, רכיבי BLIP-2 וזיהוי מבוסס YOLO ו־PaddleOCR. השילוב הזה מפרק את הממשק לאלמנטים לחיצים וטקסטואליים ומנסה להבין אותם בהקשר של ההוראה שנתתם.

מתאים ל

• ניתוח ממשקים לאוטומציה

  זיהוי כפתורים ושדות בתוך צילומי מסך כדי להזין נקודות לחיצה מדויקות לבוטים.

• פירוק מסך לתוויות

  חילוץ טקסט ואלמנטים ויזואליים מתמונת תוכנה באמצעות מודלי ראייה משולבים.

• בדיקת יכולות Magma

  בחינה של שילוב Magma-8B עם OmniParser על דוגמאות מסך שונות לפני הטמעה.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה פשוט קורסת כרגע עם שגיאת מערכת ולא מגיבה. מעבר לזה, ניתוח מסך בעברית עלול לזייף מול מודלים כמו PaddleOCR ו־Florence שלא תמיד מסתדרים עם כיווניות מימין לשמאל, והמורכבות של טעינת כמה מודלים ענקיים במקביל יוצרת נקודות כשל רבות.

איך משתמשים

בפועל, כרגע אי אפשר להריץ את ההדגמה הזו באתר כי היא מוגדרת במצב תקלת ריצה. כשהיא פעילה, מעלים תמונה, מגדירים ספי זיהוי כמו box_threshold ו־iou_threshold, ולוחצים על כפתור השליחה. השרת מוקצה עם מאיץ A10G דרך ZeroGPU, כך שעיבוד כזה אמור לקחת שניות בודדות כשהסביבה עובדת.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי כולל שינוי קוד ומסחור. כל מה שאתם מעלים מועבר לעיבוד בתשתית Hugging Face וחשוף לשרת המארח.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗