CLIP-GmP-ViT-L-14

מה זה

מדובר בכוונון עדין למודל המקורי של OpenAI בארכיטקטורת ViT-L-14, המשלב עיבוד תמונה וטקסט עם 428 מיליון פרמטרים. המפתח השתמש בשיטה של פרמטריזציה גיאומטרית, החלקת תוויות ומניפולציה של נוירונים ספציפיים כדי לחלץ ביצועים טובים יותר מאותו גודל מודל בדיוק, בלי להגדיל את כמות החישובים בזמן ריצה.

במבחני דיוק על מאגרי ImageNet ו־ObjectNet המודל מציג זינוק מכ־0.84 או 0.85 במקור לאזור ה־0.91. מעבר לסיווג תמונות נקי, המודל צבר פופולריות דווקא כמפענח טקסט חלופי במודלי דיפוזיה, שם הוא מקטין את הפער בין המודל הוויזואלי למלל ומאפשר למחולל לעקוב טוב יותר אחרי הוראות מורכבות וטקסט שמופיע בתוך התמונה עצמה.

מתאים ל

• מקודד טקסט למחוללי תמונה

  מחליף את מקודד ברירת המחדל בפלוקס או SDXL לטובת הבנה מדויקת יותר של פרומפטים מורכבים.

• סיווג תמונות ישיר

  מציג דיוק גבוה משמעותית בסיווג ללא אימון מוקדם על בסיסי נתונים רחבים מול מודל הבסיס.

• זיהוי כיתוב בתוך תמונה

  גרסת המלל המותאמת תופסת טוב יותר נוכחות של טיפוגרפיה וטקסט בהשוואה לגרסאות קודמות.

איפה זה נופל

המאגר מציע כמה גרסאות שונות כמו TEXT ו־SMOOTH, והבחירה ביניהן לא טריוויאלית אלא תלויה באופי הפרומפטים שלכם ודורשת ניסוי וטעייה. בנוסף, גרסת הבסיס הראשונית כבר מוגדרת כנחותה על ידי היוצר, ובקיץ 2025 הוא כבר הפנה לגרסה חדשה יותר, כך שמדובר במוצר בתנועה מתמדת. המודל עדיין מבוסס על הארכיטקטורה המקורית של CLIP, ולכן סובל מהמגבלות הטבעיות שלה בהבנת יחסים מורכבים במרחב.

איך מריצים

אתם יכולים לטעון אותו ישירות דרך ספריית transformers הרגילה של פייתון עם CLIPModel ו־CLIPProcessor, או לחבר אותו לסקריפטים של diffusers. המודל שוקל כ־11.9 גיגה בייט במאגר המלא, אך בזמן ריצה רגיל ב־float32 הוא דורש פחות משני גיגה בייט של זיכרון כרטיס מסך, כך שכל כרטיס מודרני ממוצע יריץ אותו בקלות.

אם השימוש שלכם הוא רק כחלק ממחולל תמונות כמו פלוקס, אין סיבה להוריד את כל 23 הקבצים. המפתח מציע קובצי safetensors ייעודיים שמכילים רק את מקודד הטקסט, מה שחוסך מקום ומאפשר לטעון אותם ישר לתוך ComfyUI.

from transformers import pipeline

pipe = pipeline("zero-shot-image-classification", model="zer0int/CLIP-GmP-ViT-L-14")
print(pipe("שלום"))

הקבצים

23 קבצים במאגר, 11.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• ViT-L-14-GmP-ft-state_dict.pt1.7 GB
• model.safetensors1.7 GB
• ViT-L-14-BEST-smooth-GmP-ft-pickle-OpenAI.pt932.3 MB
• ViT-L-14-GmP-ft-pickle-OpenAI.pt932.3 MB
• ViT-L-14-TEXT-detail-improved-hiT-GmP-pickle-OpenAI.pt932.3 MB
• ViT-L-14-BEST-smooth-GmP-ft-state_dict.pt932.2 MB
• ViT-L-14-TEXT-detail-improved-hiT-GmP-state_dict.pt932.2 MB
• ViT-L-14-BEST-smooth-GmP-ft.safetensors932.1 MB
• ViT-L-14-GmP-ft.safetensors932.1 MB
• ViT-L-14-BEST-smooth-GmP-HF-format.safetensors931.4 MB
• ViT-L-14-TEXT-detail-improved-hiT-GmP-HF.safetensors931.4 MB
• ViT-L-14-GmP-ft-TE-only-HF-format.safetensors324.5 MB
• ViT-L-14-BEST-smooth-GmP-TE-only-HF-format.safetensors323.4 MB
• ViT-L-14-TEXT-detail-improved-hiT-GmP-TE-only-HF.safetensors323.4 MB
• tokenizer.json2.2 MB
• vocab.json961.1 KB
• merges.txt524.6 KB
• README.md6.0 KB
• .gitattributes1.5 KB
• tokenizer_config.json902 B
• config.json736 B
• special_tokens_map.json389 B
• preprocessor_config.json316 B

הרישיון

המודל משוחרר ברישיון MIT, בדיוק כמו המודל המקורי של OpenAI שעליו הוא נשען. זהו רישיון מתירני שמאפשר שימוש מסחרי מלא, שינוי של המשקולות ושילוב במוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗