DFN5B-CLIP-ViT-H-14-378

מה זה

אפל לקחה כאן ארכיטקטורת קליפ כבדה ואימנה אותה על חמישה מיליארד צמדי תמונה וטקסט, שסוננו מתוך מאגר גולמי של 43 מיליארד באמצעות רשתות סינון ייעודיות. המודל עבר אימון על רזולוציה בסיסית ולאחר מכן כוונון ברזולוציה גבוהה יותר של 384 על 384 פיקסלים, מה שנותן לו יכולת לראות פרטים קטנים שתמונות מוקטנות רגילות מאבדות.

במבחני ביצועים הוא מגיע לממוצע של כמעט 71 אחוז על פני מגוון רחב של מבחנים, עם דיוק אפס דגימות של מעל 84 אחוז באימג'נט ומעל 96 אחוז בזיהוי חיות מחמד ומזון. המשמעות היא שבמשימות זיהוי סטנדרטיות הוא מבין מה מופיע בפריים בדיוק מרשים, בלי שאימנתם אותו על הקטגוריות שלכם מראש.

מתאים ל

• חיפוש תמונות לפי טקסט

  אינדוקס קטלוגים גדולים וחיפוש תמונות בעזרת תיאור באנגלית ברמת דיוק גבוהה.

• סיווג תמונות בלי אימון

  זיהוי פריטים, חיות ומזון בקטגוריות מוגדרות מראש בלי לגעת במשקולות המודל.

• סינון ומיון מאגרי מידע

  ניקוי דאטה סטים גדולים מתמונות שאינן מתאימות לתיאור הטקסטואלי שמצורף אליהן.

איפה זה נופל

הנקודה החלשה ביותר בולטת במשימות של ספירה והבנת מרחב. במבחן ספירת עצמים הוא קיבל 36 אחוז בלבד, ובאומדן מרחקים צנח ל־20 אחוז, כך שהוא לא יודע להגיד כמה פריטים יש בתמונה או איפה הם עומדים זה ביחס לזה. בנוסף, חלון ההקשר מוגבל ל־77 טוקנים בלבד, מה שחוסם חיפוש לפי תיאורים ארוכים ומורכבים.

איך מריצים

המשקלים שוקלים 7.4 גיגה בייט ומגיעים במקור מהספרייה הפנימית של אפל, אבל הוסבו ישירות לשימוש עם ספריית אופן קליפ בפייתורץ'. בשביל להריץ אותו בהסקה בלי צווארי בקבוק תצטרכו כרטיס מסך מודרני עם לפחות 16 גיגה זיכרון גרפי, במיוחד בגלל רזולוציית הקלט הגבוהה שמנפחת את צריכת הזיכרון בכל תמונה.

אם אתם צריכים לאנדקס מיליוני תמונות באופן חד פעמי או לבנות מנוע חיפוש פנימי, הרצה מקומית על שרת ענן עם מאיץ ייעודי תהיה זולה ופשוטה יותר מניהול קריאות חוזרות לספק חיצוני, כל עוד מדובר בטקסט קצר ובאנגלית.

pip install -U huggingface_hub
hf download apple/DFN5B-CLIP-ViT-H-14-378

הקבצים

14 קבצים במאגר, 7.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin3.9 GB
• open_clip_pytorch_model.bin3.9 GB
• tokenizer.json2.2 MB
• vocab.json862.3 KB
• merges.txt524.7 KB
• eval_results.jsonl16.6 KB
• LICENSE5.8 KB
• config.json4.4 KB
• README.md4.0 KB
• .gitattributes1.5 KB
• tokenizer_config.json806 B
• open_clip_config.json735 B
• special_tokens_map.json472 B
• preprocessor_config.json315 B

הרישיון

המודל שוחרר תחת רישיון ייעודי של אפל בשם apple-amlr. זה אינו רישיון קוד פתוח חופשי רגיל, ובדרך כלל הוא מגביל את השימוש למחקר בלבד ואוסר הטמעה ישירה במוצרים מסחריים בלי בדיקה משפטית של תנאי ההסכם.

הרישיון המלא בעמוד המודל ↗