vision-arena
רץ בדפדפןWildVisionרישיון לא דווח2024-02-03
הכלי מציג השוואה עיוורת ראש בראש בין מודלי ראייה שונים על אותה תמונה. אתם מעלים צילום, שואלים שאלה, ורואים מי מהם עונה טוב יותר.
- —הורדות בחודש
- 561לייקים
מה זה
הרעיון פשוט: במקום להאמין למבחנים סינתטיים, אתם בודקים מודלי שפה וראייה ישירות על תמונות שלכם. מעלים קובץ תמונה, כותבים שאילתה או הנחיה בטקסט, ומקבלים שתי תשובות במקביל משני מודלים שונים שמתחרים ביניהם, בלי לדעת מראש מי ענה מה.
מאחורי הקלעים רצים מודלים שונים לתחום הראייה והשפה, וביניהם MiniCPM-Llama3-V-2_5. המטרה היא לבחון ביצועים של מודלים מולטימודליים בתנאי שטח אמיתיים, כשאתם אלה ששופטים מי החזיר ניתוח מדויק יותר של הוויז'ואל ומי פספס פרטים.
מתאים ל
- בדיקת יכולות ראייה
מעלים תרשים או צילום מורכב ורואים איך המודלים מפענחים את התוכן במקביל.
- השוואת תשובות עיוורת
משווים בין ביצועי מודלים שונים על אותו הפרומפט בלי לדעת מי יצר מה.
- בחינת דיוק בהוראות
בודקים אם מודל רב מודלי עוקב אחרי הנחיות טקסטואליות מפורטות ביחס לתמונה.
איפה זה נופל
הכלי משווה בין מודלים, הוא לא כלי עבודה לניתוח שוטף של כמויות גדולות. אין כאן אפשרות לחבר API אוטומטי למוצר שלכם, וההשוואה מתבצעת בעיקר כדי למדוד איכות ולא כדי לעבד מסמכים רגישים. בנוסף, מודלים כמו MiniCPM עלולים להציג הזיות או לטעות בפרטים קטנים, ולכן אי אפשר להסתמך על התוצאה בלי בדיקה עיוורת משלכם.
שאלות
נפוצות
האם השימוש בחינם?
כן, אפשר לגשת דרך הדפדפן ולהשתמש בכלי ללא תשלום. אין צורך להזין אמצעי תשלום כדי להעלות תמונה ולקבל תשובות.
מה קורה עם התמונות והטקסט שמעלים?
הכלי נבנה כחלק ממחקר על ביצועי מודלים בתנאי שטח. בגלל שאין רישיון מוגדר ומדובר בסביבת בדיקה, עדיף להניח שהמידע נשמר לטובת ניתוח המחקר ולא להעלות חומרים אישיים.
במה זה שונה מלהריץ את המודל עצמו?
הרצה עצמאית דורשת חומרה חזקה, התקנות של ספריות וניהול תשתית. כאן מקבלים גישה מיידית דרך הדפדפן להשוואה בין מודלים בלי לגעת בקוד או להגדיר כרטיס מסך.
האם הממשק תומך בעברית?
אפשר להקליד שאלות בעברית, אבל המודלים עצמם אומנו בעיקר באנגלית. התשובות בעברית עלולות להיות פחות מדויקות או לחזור עם שגיאות ניסוח בהשוואה לאנגלית.
איך משתמשים
נכנסים לדפדפן, גוררים פנימה תמונה ומקלידים את הפרומפט. בגלל שזה בנוי כדף סטטי שמפעיל קריאות מאחור, אין צורך בהתקנה מקומית או בהרשמה מראש. זמן התגובה תלוי בעומס הכללי על השרתים שמריצים את המודלים וגודל התמונה שהעליתם, כך שלפעמים צריך להמתין כמה שניות עד ששתי התשובות מוכנות.
הרישיון
היוצרים לא דיווחו על רישיון שימוש מוגדר בעמוד. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד או בפלט, וכל תמונה שאתם מעלים עלולה להישמר לצורכי מחקר והערכת המודלים, אז אל תעלו מידע פרטי או רגיש.