CLIP-ViT-bigG-14-laion2B-39B-b160k

מה זה

מדובר במודל ראייה וטקסט בארכיטקטורת ViT-bigG/14, שאומן באמצעות ספריית OpenCLIP על גבי תת המאגר האנגלי LAION-2B מתוך LAION-5B, כולל כוונון חלקי על תת מאגר אסתטי. המודל מחבר בין תמונות לטקסט לצורך משימות כמו סיווג תמונה ללא אימון מוקדם (zero shot) או אחזור תמונות לפי תיאור טקסטואלי.

במבחן ImageNet-1k הוא מגיע לדיוק top-1 של 80.1 אחוז ללא אימון ייעודי על הדאטה־סט, ציון חריג למודלים פתוחים מהמשפחה הזו שמציב אותו ברמת דיוק גבוהה בהרבה מגרסאות CLIP קודמות וקטנות יותר. הביצועים האלה מגיעים בזכות השילוב בין נפח אימון עצום לארכיטקטורה רחבה במיוחד.

מתאים ל

• סיווג תמונות zero-shot

  מזהה קטגוריות חדשות של תמונות לפי תיאור טקסט באנגלית בלי צורך לאמן שכבות סיווג חדשות.

• חיפוש ואחזור תמונה-טקסט

  מתאים למנועי חיפוש ויזואליים שדורשים התאמה מדויקת בין שאילתות טקסט לקטלוג תמונות גדול.

• הנחיה למודלי יצירת תמונה

  משמש כרכיב הכוונה ובקרה למערכות גנרטיביות שצריכות להעריך התאמה בין טקסט לתוצר הוויזואלי.

איפה זה נופל

המודל אומן והוערך באנגלית בלבד, ולכן לא מתאים לעבודה ישירה בעברית ללא תרגום מקדים. חלון ההקשר מוגבל ל־77 טוקנים, כך שאי אפשר להזין תיאורי טקסט ארוכים או מורכבים.

דאטה־סט האימון LAION נסרק מהרשת הפתוחה ללא סינון ידני מלא, ויכול לכלול הטיות ותוכן בעייתי. יוצרי המודל מזהירים מפורשות שכל פריסה מבצעית, מסחרית או לא, אינה מומלצת ללא בדיקות התאמה מחמירות במרחב סגור ומוגדר, ופוסלים לחלוטין שימוש לזיהוי פנים ומעקב.

איך מריצים

כדי להריץ אותו משתמשים בספריית open_clip. המשקל של הקבצים מגיע ל־37.8 גיגה־בייט בפורמט float32 המחולקים ל־17 קבצים, מה שמחייב מאיץ גרפי חזק מאוד עם לפחות 40 עד 80 גיגה־בייט של זיכרון ייעודי כדי לטעון ולהריץ הסקת מסקנות בצורה יציבה.

אם אין לכם שרת ייעודי עם חומרה מתאימה, ההרצה המקומית תהיה יקרה וכבדה מדי. במקרה כזה כדאי לשקול קריאה לשרת מרוחק או שימוש בגרסאות מכווצות יותר של CLIP, אלא אם הדיוק המרבי הכרחי לפרויקט.

pip install -U huggingface_hub
hf download laion/CLIP-ViT-bigG-14-laion2B-39B-b160k

הקבצים

17 קבצים במאגר, 37.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• open_clip_pytorch_model.bin10.2 GB
• open_clip_model.safetensors10.2 GB
• pytorch_model-00001-of-00002.bin10.0 GB
• pytorch_model-00001-of-00002.safetensors10.0 GB
• pytorch_model-00002-of-00002.bin168.5 MB
• pytorch_model-00002-of-00002.safetensors168.5 MB
• tokenizer.json2.2 MB
• vocab.json862.3 KB
• merges.txt524.6 KB
• pytorch_model.bin.index.json120.0 KB
• README.md8.7 KB
• config.json4.9 KB
• .gitattributes1.7 KB
• tokenizer_config.json904 B
• open_clip_config.json671 B
• special_tokens_map.json389 B
• preprocessor_config.json316 B

הרישיון

רישיון MIT. מבחינה משפטית מותר להשתמש בקוד ובמשקולות לצרכים מסחריים, לשנות ולהפיץ, בתנאי ששומרים על הודעת זכויות היוצרים המקורית. עם זאת, היוצרים מצהירים בכרטיס המודל שהם אינם ממליצים על שימוש במוצרים מוגמרים ללא מחקר ובדיקות בטיחות מעמיקות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗