marqo-ecommerce-embeddings-L

מה זה

מדובר במודל מולטימודלי ממשפחת CLIP שמייצר וקטורים בגודל 1024 ממדים עבור מוצרים, תמונות ושאילתות חיפוש. במקום לאמן על מאגרים מעורבבים של ויקיפדיה או רשתות חברתיות, הצוות של Marqo כיוון אותו לדאטה מסחרי נקי של מוצרים, כותרות וקטגוריות.

בבדיקות מול ארבעה מיליון פריטים הוא משאיר אבק למודלים כלליים. במשימת התאמת טקסט לתמונה במאגר קשה של אמזון הוא הגיע לציון 0.658 ב־mAP ו־0.854 ב־Recall@10, לעומת מודלים מובילים כמו SigLIP או Amazon Titan שנשארים הרחק מאחור. המשמעות בפועל פשוטה: חיפוש טקסטואלי של לקוח מוצא את המוצר הנכון בתמונות הרבה יותר פעמים ובמיקומים ראשונים יותר.

מתאים ל

• חיפוש טקסט לתמונה בקטלוג

  מאפשר ללקוח לחפש תיאור קצר ולקבל תמונות מדויקות של מוצרים רלוונטיים.

• סיווג מוצרים לפי תמונה

  משייך מוצר חדש לקטגוריה הנכונה על בסיס התמונה בלבד ובדיקת דמיון וקטורי.

• החלפת מודלי ראייה כלליים

  משפר דיוק באתרי מסחר שמשתמשים כיום ב־CLIP רגיל ולא ממוקד.

איפה זה נופל

חלון ההקשר הטקסטואלי בסקריפטים מוגדר ל־64 טוקנים בלבד. אם יש לכם תיאורי מוצר ארוכים, ביקורות של משתמשים או מפרטים טכניים מפורטים, המודל הזה יחתוך אותם ולא ילמד מהם. הוא נבנה עבור כותרות קצרות ושאילתות חיפוש.

בנוסף, כל המבחנים והאימונים נשענים על אנגלית מפלטפורמות כמו אמזון וגוגל שופינג. לא דווח שום מידע על תמיכה בעברית, ולכן בקטלוגים מקומיים או בשאילתות בעברית הוא כנראה ייכשל לחלוטין בלי אימון מקדים או תרגום שקט ברקע.

איך מריצים

טוענים אותו ישירות דרך ספריית open_clip או transformers בפייתון באמצעות התקנת open_clip_torch. משקל הקבצים עומד על 7.3 גיגה בייט, כך שצריך כרטיס מסך מודרני עם לפחות 12 עד 16 גיגה זיכרון כדי לייצר וקטורים בזמן אמת, במיוחד אם אתם עובדים עם אצוות גדולות.

יש למשפחה הזו גם גרסת B קטנה יותר של 203 מיליון פרמטרים, שמספקת וקטור של 768 ממדים ודורשת פחות משאבים. אם אין לכם תשתית עם GPU ייעודי שפועל באופן קבוע, אחזקת שרת כזה תהיה יקרה משמעותית בהשוואה לשליחת בקשות לשירות ענן מנוהל.

pip install -U huggingface_hub
hf download Marqo/marqo-ecommerce-embeddings-L

הקבצים

14 קבצים במאגר, 7.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• open_clip_pytorch_model.bin2.6 GB
• model.safetensors2.6 GB
• open_clip_model.safetensors2.6 GB
• tokenizer.json2.4 MB
• spiece.model791.7 KB
• bar_chart_1.png151.1 KB
• tokenizer_config.json20.6 KB
• README.md15.3 KB
• marqo_fashionSigLIP.py10.7 KB
• special_tokens_map.json2.5 KB
• .gitattributes1.5 KB
• open_clip_config.json884 B
• preprocessor_config.json439 B
• config.json310 B

הרישיון

הוא מופץ תחת רישיון apache-2.0. זה רישיון פתוח שמתיר שימוש מסחרי חופשי, שינוי של הקוד והפצה של המודל בתוך מוצרים פרטיים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗