marqo-ecommerce-embeddings-B

מה זה

מדובר במודל מולטימודלי מבוסס ארכיטקטורת CLIP עם 203 מיליון פרמטרים, שמוציא וקטורים בגודל 768 ממדים. בניגוד למודלי CLIP כלליים שרואים בעיקר תמונות טבעיות עם תיאורים רחבים, הוא אומן ספציפית על נתוני מסחר אלקטרוני, כותרות פריטים וקטגוריות מול תמונות מוצר מבודדות.

במבחני הביצועים של החברה על מאגר של ארבעה מיליון מוצרים, המודל עקף מודלים גדולים ממנו בהרבה. בשליפת תמונות לפי טקסט בגוגל שופינג הוא הגיע לציון R@10 של 0.832 מול 0.763 של מודל ViT-SO400M ו־0.648 של טיטאן מבית אמזון. המשמעות בפועל היא פחות פספוסים בחיפוש חופשי כשהלקוח מקליד תיאור מוצר ורוצה לראות את הפריט הנכון בראש העמוד.

מתאים ל

• חיפוש טקסט לתמונה בחנות

  מאפשר ללקוחות למצוא מוצר מדויק בקטלוג בעזרת תיאור חופשי של מראה הפריט.

• שיוך קטגוריות לתמונות

  עוזר לסווג אוטומטית תמונות של מוצרים חדשים ישירות לענפי קטלוג קיימים.

• החלפת מנועי חיפוש חיצוניים

  מספק חלופה מקומית וזולה לשירותי ענן יקרים עם מגבלות קריאה לשנייה.

איפה זה נופל

אורך ההקשר לטקסט מוגבל ל־64 טוקנים לפי סקריפטי ההערכה. המודל מתאים לשמות מוצרים, שאילתות קצרות וקטגוריות, אבל ייכשל אם תנסו להזין מפרט טכני מלא או תיאור ארוך של פסקה. בנוסף, כל המבחנים והדוגמאות מבוססים על אנגלית מפלטפורמות בינלאומיות, כך שאין שום תיעוד ליכולת עבודה בעברית וצריך לבדוק אותו מקומית לפני שמסתמכים עליו.

איך מריצים

הקבצים שוקלים 2.3 גיגהבייט ונטענים ישירות דרך ספריית open_clip או transformers בפייתון. 203 מיליון פרמטרים זה משקל קל מאוד, כרטיס מסך ביתי בסיסי עם 6 עד 8 גיגהבייט זיכרון יספיק לקידוד בזמן אמת, ואפשר להריץ אותו אפילו על מעבד רגיל לשאילתות בודדות.

אם יש לכם קטלוג ענק שדורש אינדוקס מחדש בתדירות גבוהה, כדאי לשקול מאיצי GPU בענן. יש גם גרסה גדולה יותר בשם L עם 652 מיליון פרמטרים, אבל היא דורשת חומרה כבדה פי שלושה ומוסיפה רק אחוזים בודדים לדיוק. שירותי API סגורים כמו קוהיר או ורטקס יתאימו למי שלא רוצה לתחזק שרתים כלל, אך במבחנים הם הציגו דיוק נמוך משמעותית.

pip install -U huggingface_hub
hf download Marqo/marqo-ecommerce-embeddings-B

הקבצים

14 קבצים במאגר, 2.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• open_clip_pytorch_model.bin812.8 MB
• model.safetensors812.7 MB
• open_clip_model.safetensors812.7 MB
• tokenizer.json2.4 MB
• spiece.model791.7 KB
• bar_chart_1.png151.1 KB
• tokenizer_config.json20.6 KB
• README.md15.3 KB
• marqo_fashionSigLIP.py10.7 KB
• special_tokens_map.json2.5 KB
• .gitattributes1.5 KB
• open_clip_config.json881 B
• preprocessor_config.json516 B
• config.json292 B

הרישיון

הפרויקט מופץ תחת רישיון Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשלב אותו במוצר פנימי או מסחרי, לשנות את הקוד ולהריץ אותו באופן חופשי ללא תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗