marqo-fashionSigLIP
קוד פתוחMarqoapache-2.02024-08-09
מודל חיפוש וסיווג תמונות שנבנה ישירות על עולם האופנה. הוא מחבר בין טקסט חופשי או קטגוריות לבין פריטי לבוש ברמת דיוק שדגמי ראייה כלליים פשוט מפספסים.
- 203Mפרמטרים
- 4.6 GBמשקל הקבצים
- 363,119הורדות בחודש
- 88לייקים
מה זה
בבסיס שלו יושב ViT-B-16-SigLIP שאומן מחדש בשיטת Generalised Contrastive Learning על נתוני אופנה ייעודיים. במקום להסתפק בהתאמה פשוטה בין כיתוב לתמונה, האימון דחף פנימה מאפיינים מפורטים כמו סגנון, גזרות, סוגי בדים, צבעים וקטגוריות משנה. המטרה היא לתת מענה לשאילתות קטלוג שבהן ההבדל בין חולצה מכופתרת לסריג דק מפיל מודלים כלליים.
במבחני ביצועים מול שישה מאגרי מידע מוכרים בתחום, כמו DeepFashion ו־Fashion200k, הוא עוקף את FashionCLIP ודגמי בסיס מקבילים. בחיפוש טקסט לתמונה הוא מציג מדד MRR של 0.239 לעומת 0.165 של FashionCLIP2.0, וברמת קטגוריות למוצר מגיע לדיוק P@1 של 0.758. המשמעות בפועל היא שהתוצאה הראשונה שהמשתמש מקבל בקטלוג רלוונטית בהרבה, עם פחות רעש של מוצרים לא קשורים.
מתאים ל
- חיפוש טקסטואלי באופנה
התאמת שאילתות חיפוש חופשיות באנגלית לתמונות פריטים מתאימים מתוך קטלוג חנות.
- תיוג קטלוג לפי קטגוריות
סיווג אוטומטי של בגדים לפי צבע, גזרה, סגנון וסוג בד ללא צורך באימון מודל ייעודי.
- מציאת פריטים דומים
הפקת וקטורים מתמונות מוצר לצורך הצגת חלופות דומות ויזואלית בעמוד הפריט.
איפה זה נופל
המודל אומן בשפה האנגלית בלבד, כך ששאילתות בעברית לא יעבדו בלי תרגום מוקדם. בנוסף, בחיפוש טקסט חופשי לתמונה מדד ה־Recall@1 שלו עומד על 0.121 בלבד, מה שאומר שבמקרים רבים הפריט המדויק לא יופיע ראשון ותצטרכו להסתמך על עשיריית התוצאות הראשונות. המודל מתמקד בלבוש ולא יתאים למוצרי צריכה כלליים.
שאלות
נפוצות
האם המודל מבין חיפושים בעברית?
לא, המודל אומן ותומך רשמית באנגלית בלבד. כדי להשתמש בו עבור חנות ישראלית צריך לתרגם את השאילתות של המשתמשים לאנגלית לפני שמייצרים את הווקטור.
מה היתרון שלו על פני מודל CLIP כללי?
דגמי ראייה כלליים מתקשים להבדיל בין סוגי בדים ודקויות של גזרות. המודל הזה אומן ישירות על נתוני אופנה עשירים ולכן מדייק יותר בהתאמת פריטי לבוש לקטגוריות ספציפיות.
האם חובה להשתמש בכרטיס מסך כדי להריץ אותו?
ממש לא חובה. הוא שוקל כ־203 מיליון פרמטרים בלבד ויכול לרוץ להסקה גם על מעבד רגיל או בדפדפן, אם כי כרטיס מסך פשוט ייתן זמני תגובה טובים בהרבה.
איך מריצים
עם 203 מיליון פרמטרים ומשקל קבצים של 4.6 גיגהבייט, אפשר להריץ אותו בלי בעיה על כרטיס מסך בודד וזול יחסית עם 8 גיגה זיכרון, ואפילו על מעבד לצורך בדיקות. טוענים אותו ישירות דרך הספרייה transformers עם trust_remote_code או בעזרת open_clip, ויש גם תמיכה בסביבת דפדפן דרך Transformers.js.
הריצה העצמית פשוטה מאוד ולא דורשת קלאסטר כבד. עם זאת, החברה כבר מציגה גרסה מתקדמת יותר בשם SigLip 2 ומכוונת לתיאום הדגמות, כך שאם אתם מחפשים ביצועים גבוהים יותר במקום לתחזק שרתים וסביבות חיפוש בעצמכם, ייתכן שעדיף לבדוק שירות מנוהל.
pip install -U huggingface_hub hf download Marqo/marqo-fashionSigLIP
הקבצים
29 קבצים במאגר, 4.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
- open_clip_pytorch_model.bin812.8 MB
- model.safetensors812.7 MB
- open_clip_model.safetensors812.7 MB
- onnx/text_model.onnx441.4 MB
- onnx/vision_model.onnx371.7 MB
- onnx/text_model_fp16.onnx220.8 MB
- onnx/vision_model_fp16.onnx185.9 MB
- onnx/text_model_q4.onnx178.6 MB
- onnx/text_model_bnb4.onnx173.7 MB
- onnx/text_model_uint8.onnx111.1 MB
- onnx/text_model_int8.onnx111.1 MB
- onnx/text_model_quantized.onnx111.1 MB
- onnx/text_model_q4f16.onnx108.9 MB
- onnx/vision_model_quantized.onnx94.0 MB
- onnx/vision_model_uint8.onnx94.0 MB
- onnx/vision_model_int8.onnx94.0 MB
- onnx/vision_model_q4.onnx61.2 MB
- onnx/vision_model_bnb4.onnx55.4 MB
- onnx/vision_model_q4f16.onnx53.7 MB
- tokenizer.json2.4 MB
- spiece.model791.7 KB
- tokenizer_config.json20.6 KB
- marqo_fashionSigLIP.py10.7 KB
- README.md7.3 KB
- special_tokens_map.json2.5 KB
- .gitattributes1.5 KB
- open_clip_config.json881 B
- preprocessor_config.json516 B
- config.json302 B
הרישיון
רישיון apache-2.0 מאפשר שימוש מסחרי מלא, שינוי של הקוד והפצה פנימית או חיצונית בתוך מוצרים. אין חובה לפתוח את הקוד שלכם, אך נדרש לשמור על הודעת זכויות היוצרים המקורית והצהרת הרישיון בכל הפצה של הקבצים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים