ferret-demo
רץ בדפדפןjadechoghariרישיון לא דווח2024-10-19
מעלים צילום מסך, מסמנים עליו אזור מוגדר ושואלים שאלות על ממשק המשתמש. הכלי מיועד למי שרוצה לבחון זיהוי אלמנטים גרפיים בלי לכתוב קוד.
- —הורדות בחודש
- 36לייקים
מה זה
אתם מזינים תמונה דרך רכיב שמאפשר לצייר תיחום על גבי המסך, כותבים הנחיה בתיבת הטקסט ובוחרים מודל מתוך הרשימה. התוצאה חוזרת בצורת שיחה מול צ'אטבוט, עם תשובות שמנתחות את האזור שסימנתם או את התמונה כולה.
בקוד מוגדרים מודלים ממשפחת Ferret-UI, ביניהם גרסאות מבוססות Gemma בנפח 2 מיליארד פרמטרים ו־Llama בנפח 8 מיליארד פרמטרים, לצד המודל opt-350m של פייסבוק. המערכת כוללת גם דוגמאות מוכנות מראש לטעינה מהירה, ומאפשרת לשלוט בטמפרטורה, במדד הדיגום ובכמות הטוקנים שנוצרים בתגובה.
מתאים ל
- זיהוי כפתורים ואייקונים
סימון אזור בממשק משתמש כדי לבדוק אם המודל מזהה נכון את הפעולה של הכפתור.
- בדיקת שאילתות על מסכים
שאלת שאלות חופשיות באנגלית על הטקסט והמבנה של צילום מסך שלם.
- השוואת מודלים לממשקים
הרצת אותה תמונה מול גרסת Gemma ומול גרסת Llama כדי לראות הבדלי דיוק.
איפה זה נופל
החיסרון המיידי הוא שהיישום מושבת לחלוטין בגלל שגיאה בקוד ההרצה. מעבר לזה, המודלים נועדו לניתוח ממשקי משתמש באנגלית, כך שאין טעם לבנות על פענוח של ממשקים בעברית. גם חומרת המעבד החלשה לא מסוגלת לספק קצב עבודה סביר למודלים של שמונה מיליארד פרמטרים.
שאלות
נפוצות
האם האפליקציה עובדת כרגע?
לא, היא נמצאת במצב של שגיאת הרצה ולא מגיבה לבקשות. צריך להמתין שהמפתח יתקן את הקוד או את התלויות כדי לנסות אותה שוב בדפדפן.
האם השימוש בה כרוך בתשלום?
הגישה לעמוד פתוחה ללא עלות. אין צורך לשלם על הרצת הדוגמאות, אך בגלל החומרה הבסיסית הביצועים מוגבלים מאוד.
אפשר להריץ את הקוד הזה עצמאית?
כן, הקוד מבוסס על ספריות פתוחות וזמין לצפייה. אפשר להוריד את הקבצים ולהריץ אותם על מחשב מקומי או שרת עם כרטיס מסך מתאים, מה שיפתור גם את בעיית שגיאת ההרצה.
מה קורה לתמונות שמעלים?
הקבצים נשלחים ישירות לשרת שמריץ את הממשק. היות שמדובר במרחב ציבורי ללא פירוט פרטיות מיוחד, לא מומלץ להעלות צילומי מסך שמכילים מידע אישי או נתונים רגישים.
איך משתמשים
בפועל בוחרים מודל, מעלים קובץ, מציירים תיבה על המסך במידת הצורך ולוחצים על כפתור השליחה. ההדגמה מוגדרת על מעבד בסיסי בלבד וכרגע היא מדווחת על שגיאת זמן ריצה, כך שהיא לא עובדת בדפדפן עד שיתקנו אותה. אם היא תחזור לעבוד על החומרה הזו, העיבוד יהיה איטי מאוד ביחס להרצה על כרטיס גרפי.
הרישיון
היוצר לא הגדיר רישיון עבור היישום. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד, וכל מה שמועלה לשם חשוף לתנאי השימוש הרגילים של שרתי האחסון הפומביים.