zero-shot-sg1-sg2
רץ בדפדפןgoogleרישיון לא דווח2025-02-19
העמוד משווה ראש בראש בין שני דורות של מודלי ראייה ממוחשבת מבית גוגל בסיווג תמונות ללא אימון מוקדם. הוא מיועד למי שרוצה לבדוק אם הדור החדש מדייק יותר על תמונות ותוויות ספציפיות.
- —הורדות בחודש
- 53לייקים
מה זה
אתם מעלים תמונה ומקלידים רשימת תוויות טקסט מופרדות בפסיקים. הממשק מציג זו לצד זו את שלוש התוצאות המובילות שכל מודל חזה עבור אותה תמונה, עם ציוני ההתאמה שלהן.
מאחורי הקלעים רצים שני מודלים של גוגל מאותה משפחה, google/siglip-so400m-patch14-384 הוותיק יותר וגרסת הדור השני google/siglip2-so400m-patch14-384. שניהם מבצעים סיווג אפס דגימות, כלומר מודדים את הקרבה הסמנטית בין התמונה שהעליתם לבין מילות התיאור שהגדרתם בלי אימון מותאם מראש. בממשק יש גם דוגמאות מובנות שמאפשרות לבדוק תמונות ותוויות מוכנות בלחיצה אחת.
מתאים ל
- השוואת דיוק בזיהוי
בדיקה אם גרסה שתיים פותרת בלבול של גרסה אחת על אותן תוויות ותמונות.
- בדיקת תוויות מותאמות
הזנת רשימת מילים חופשית כדי לראות איך שני המודלים מסווגים אותה תמונה.
- הערכת שדרוג לפרויקט
התרשמות מהירה מהשינוי בהתנהגות לפני שמחליפים את המשקולות בקוד שלכם.
איפה זה נופל
הבעיה המיידית היא שהאפליקציה בכלל לא עובדת בגלל שגיאת ריצה במקור. מעבר לזה, הממשק מציג רק את שלוש המחלקות הראשונות, כך שאי אפשר לראות תמונה מלאה של ההתפלגות. שניהם רצים על חומרת מעבד חלשה בהרבה ממה שמקובל בסביבת ייצור, ולכן זמני התגובה כאן לא משקפים את המהירות האמיתית של המודלים.
שאלות
נפוצות
האם השימוש בעמוד עולה כסף?
השימוש בממשק פתוח בדפדפן ואינו כרוך בתשלום. עם זאת, הוא רץ על תשתית בסיסית וכרגע מציג שגיאת ריצה שמונעת ממנו לעבוד. אין צורך להזין אמצעי תשלום כדי לנסות אותו.
מה קורה עם התמונות שמעלים לכאן?
התמונות נשלחות לשרת שמריץ את הקוד לצורך עיבוד המודלים. מכיוון שלא פורסם רישיון מסודר ולא צוינו תנאי פרטיות, לא כדאי להעלות תמונות פרטיות או מידע רגיש. אם אתם חייבים פרטיות מלאה, עדיף להריץ את המודלים מקומית.
האם אפשר להריץ את זה על המחשב שלי?
כן, שני המודלים זמינים להורדה חופשית דרך ספריית transformers של פייתון. הקוד עצמו טוען אותם ישירות ממאגרי המשקולות הרשמיים שלהם. כדי לקבל ביצועים סבירים מומלץ להריץ אותם על מחשב עם כרטיס מסך ולא על מעבד בלבד.
במה הממשק שונה משימוש ישיר במודל?
הממשק רק עוטף את המודלים בחלון קלט ופלט גרפי ומגביל את התוצאה לשלוש התוויות המובילות. בעבודה ישירה בקוד יש לכם גישה לכל וקטור המאפיינים, אפשר לחשב דמיון לכל כמות תוויות שרוצים, ואין תלות בשרת של הדמו.
איך משתמשים
טוענים תמונה לחלון הקלט, כותבים תוויות בתיבת הטקסט ולוחצים על Run. המודלים רצים על מעבד רגיל מסוג cpu-basic בלי מאיץ גרפי, כך שעיבוד שתי רשתות במקביל עלול לקחת כמה שניות טובות. כרגע העמוד מדווח על שגיאת ריצה (RUNTIME_ERROR), מה שאומר שההדגמה קורסת ולא תגיב בלחיצה עד שמישהו יתקן אותה.
הרישיון
הרישיון של העמוד לא דווח בקוד או בתיעוד. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד ההדגמה עצמו, ולא ברור מה הסטטוס המשפטי של תמונות שאתם מעלים לממשק ברמת שמירת המידע בשרת.