CLIP-ViT-L-14-laion2B-s32B-b82K

מה זה

המודל הזה ממיר תמונות וטקסט לאותו מרחב וקטורי, מה שמאפשר להשוות ביניהם ישירות. הוא אומן באמצעות ספריית open_clip על גבי תת-קבוצה אנגלית של שני מיליארד צמדי תמונה וטקסט מתוך מאגר LAION-5B, ונחשף ל־32 מיליארד דוגמאות לאורך הריצה. המטרה המרכזית שלו היא סיווג תמונות באפס דוגמאות ושליפת מידע בין תמונות לטקסט.

במבחן ImageNet-1k הוא מגיע לתוצאה של 75.3 אחוז דיוק top-1 בלי לראות תמונה אחת מהאימון של המאגר הזה. המשמעות בפועל היא יכולת הכללה טובה מאוד על עצמים כלליים, שמתחרה ישירות במשקלים המקוריים של OpenAI אבל מגיעה מאימון שקוף ומתועד על חומרת מחשב-על.

מתאים ל

• סיווג תמונות לפי תוויות

  מאפשר לסווג תמונות לקטגוריות מותאמות אישית באנגלית בלי לאמן מודל ייעודי מראש.

• מנוע חיפוש תמונות בטקסט

  מייצר וקטורים תואמים שמאפשרים לחפש במאגר תמונות גדול באמצעות שאילתות חופשיות באנגלית.

• הנחיה למודלי יצירת תמונה

  משמש כרכיב סינון ובקרה פנימי במערכות שמייצרות תמונות כדי לוודא התאמה לטקסט המבוקש.

איפה זה נופל

היוצרים מדגישים שהמודל אומן ונבדק באנגלית בלבד, ולכן הוא לא מתאים לעבודה בעברית בלי תרגום מקדים. המאגר ששימש לאימון נאסף מהאינטרנט ללא סינון ידני קפדני, ויכול להכיל הטיות, תוכן לא הולם ופגיעה באיכות הסיווג בקטגוריות רגישות.

בנוסף, היוצרים מתנגדים במפורש לשימוש במערכות מעקב, זיהוי פנים, או הטמעה ישירה במוצר תעשייתי ללא בדיקה יסודית של חלוקת הקטגוריות הספציפית שלכם. אורך הטקסט מוגבל ל־77 טוקנים, כך שאי אפשר להזין פסקאות ארוכות.

איך מריצים

טוענים ומריצים את המשקלים דרך ספריית open_clip בפייתון. הקבצים שוקלים 6.4 גיגה-בייט ונשמרים בדיוק של float32, כך שצריך כרטיס מסך עם לפחות 8 עד 10 גיגה-בייט של זיכרון ייעודי כדי להחזיק את המודל ולהריץ עיבוד של תמונות בודדות או קבוצות קטנות בנוחות.

אם אין לכם שרת עם מאיץ גרפי מתאים זמין ברקע, כדאי לשקול קריאה לנקודת קצה מנוהלת דרך שירות ענן. מעבד רגיל יתקשה לעמוד בקצב של סריקת תמונות בכמויות, במיוחד כשרוצים לבצע חיפוש וקטורי מהיר בזמן אמת.

pip install -U huggingface_hub
hf download laion/CLIP-ViT-L-14-laion2B-s32B-b82K

הקבצים

31 קבצים במאגר, 6.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin1.7 GB
• open_clip_pytorch_model.bin1.7 GB
• model.safetensors1.7 GB
• open_clip_pytorch_model.safetensors1.7 GB
• tokenizer.json2.2 MB
• vocab.json862.3 KB
• merges.txt524.6 KB
• runs/events.out.tfevents.1660150065.jwb0066.juwels.24737.0116.9 KB
• runs/events.out.tfevents.1660368981.jwb0069.juwels.12098.0115.4 KB
• runs/events.out.tfevents.1660507060.jwb0038.juwels.22553.0114.4 KB
• runs/events.out.tfevents.1660660016.jwb0075.juwels.30448.0112.8 KB
• runs/events.out.tfevents.1660278820.jwb0066.juwels.20307.0112.4 KB
• runs/events.out.tfevents.1662171151.jwb0026.juwels.11856.099.8 KB
• runs/events.out.tfevents.1662584587.jwb0929.juwels.26132.098.9 KB
• runs/events.out.tfevents.1662923022.jwb0354.juwels.8816.098.2 KB
• runs/events.out.tfevents.1662256342.jwb0043.juwels.17228.097.3 KB
• runs/events.out.tfevents.1662678523.jwb0577.juwels.25329.096.3 KB
• runs/events.out.tfevents.1662784958.jwb0093.juwels.2143.096.3 KB
• runs/events.out.tfevents.1662354550.jwb0066.juwels.12897.094.7 KB
• runs/events.out.tfevents.1660757289.jwb0031.juwels.28174.086.6 KB
• runs/events.out.tfevents.1662437430.jwb0066.juwels.25458.075.3 KB
• runs/events.out.tfevents.1660090697.jwb0360.juwels.18885.022.8 KB
• README.md11.4 KB
• runs/events.out.tfevents.1662777391.jwb0093.juwels.22511.08.8 KB
• runs/events.out.tfevents.1663040222.jwb0024.juwels.20189.08.1 KB
• config.json4.6 KB
• .gitattributes1.5 KB
• tokenizer_config.json904 B
• open_clip_config.json564 B
• special_tokens_map.json389 B
• preprocessor_config.json275 B

הרישיון

הרישיון הוא MIT, מה שאומר שמבחינה משפטית מותר לעשות עם המשקלים כמעט הכל, כולל שימוש מסחרי, שינוי קוד והפצה פנימית או חיצונית, בתנאי ששומרים על הודעת זכויות היוצרים המקורית. עם זאת, היוצרים ממליצים במסמך להגביל את השימוש למחקר עקב אופי הנתונים שעליהם הוא אומן.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗