siglip2-base-patch16-512

מה זה

גוגל לקחו את ארכיטקטורת SigLIP המוכרת והרחיבו את מטרות האימון שלה עם טכניקות של חיזוי מוסתר, למידה גלובלית ומקומית והתאמה לגדלים שונים של תמונות. המודל אומן על מאגר WebLI תוך שימוש במערך של עד 2048 שבבי TPU-v5e, במטרה לייצר הבנה סמנטית טובה יותר ויכולות מיקום מדויקות בתוך התמונה.

בגודל של 376 מיליון פרמטרים ורזולוציית קלט של 512 פיקסלים, הוא מיועד לשמש כרכיב לחילוץ וקטורים, מנוע לסיווג חופשי של תוכן ויזואלי, או כמודל ראייה שמחברים למודל שפה גדול. בגלל שהוא עובד על רזולוציה גבוהה יחסית למודלי בסיס קודמים, הוא מסוגל לקלוט פרטים עדינים יותר בלי לנפח את כמות הפרמטרים לרמות שדורשות תשתיות כבדות.

מתאים ל

• סיווג תמונות ללא אימון

  זיהוי תוכן והדבקת תוויות מתוך רשימת טקסט חופשית, בלי להחזיק דאטהסט מאומן מראש.

• חיפוש תמונות לפי טקסט

  חילוץ וקטורים מתמונות ומשאילתות טקסט לצורך אחזור מהיר במאגרי מידע גדולים.

• רכיב ראייה למודלי שפה

  חיבור המודל כמקודד תמונה ראשוני עבור מערכות מולטימודליות שמעבדות טקסט ותמונה יחד.

איפה זה נופל

הכרטיס מציג את שיטות האימון ואת השימוש במאגר WebLI, אבל לא מפרט אילו הטיות קיימות בנתונים או באילו תרחישים המודל נכשל לחלוטין. מודלים מהסוג הזה מתקשים לעיתים קרובות בזיהוי טקסט מדויק בתוך תמונה, בהבנת יחסים מורכבים בין עצמים רבים, ובשפות שאינן אנגלית אם התיאורים דורשים דיוק תרבותי מקומי.

איך מריצים

טוענים אותו ישירות דרך ספריית transformers הרגילה של פייתון, בצירוף מודול pipeline לסיווג תמונות או ישירות דרך AutoModel לחילוץ מאפיינים. עם משקל קבצים של 1.4 גיגה בייט בלבד, אפשר להריץ אותו בקלות על כרטיס מסך צרכני פשוט, או אפילו על מעבד רגיל אם זמן התגובה פחות קריטי לכם.

אם אתם צריכים לסווג תמונות בודדות מדי פעם, שירות מנוהל יחסוך לכם תחזוקה, אבל ברגע שיש נפח עבודה קבוע או דרישה לעיבוד מקומי ומאובטח, פשוט מריצים אותו לבד בלי לחשוב פעמיים.

from transformers import pipeline

pipe = pipeline("zero-shot-image-classification", model="google/siglip2-base-patch16-512")
print(pipe("שלום"))

הקבצים

9 קבצים במאגר, 1.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors1.5 GB
• tokenizer.json34.4 MB
• tokenizer.model4.2 MB
• tokenizer_config.json47.2 KB
• README.md3.4 KB
• .gitattributes1.6 KB
• special_tokens_map.json636 B
• preprocessor_config.json394 B
• config.json276 B

הרישיון

רישיון apache-2.0 מאפשר שימוש חופשי לחלוטין, כולל שימוש מסחרי, שינוי של הקוד והפצה פנימית או חיצונית במוצר שלכם. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים וציון הרישיון המקורי, בלי תמלוגים ובלי חובת פתיחת קוד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗