mxbai-embed-xsmall-v1

מה זה

מדובר במודל מבוסס ארכיטקטורת ברט בעל 6 שכבות בלבד, שהותאם לחילוץ וקטורים מייצגים מטקסט באנגלית. השילוב בין גודל זעיר של 24 מיליון פרמטרים לחלון הקשר רחב מעניק לו יתרון ברור בעיבוד מסמכים ארוכים יחסית, בלי לייצר צוואר בקבוק של חומרה יקרה.

במבחני אחזור נתונים הוא מציג תמונה מעורבת. בבדיקות כמו הוטפוט קיו איי הוא משיג דיוק מרשים בתוצאה הראשונה עם ציון של כמעט חמישים ושמונה אחוזים, אבל במשימות של אימות עובדות או טקסטים מתמטיים מורכבים הביצועים נחתכים משמעותית. כשמבקשים ממנו למצוא קשרים לוגיים מסובכים, הנפח המצומצם שלו מורגש מיד.

מתאים ל

• אחזור מסמכים ארוכים

  מתאים לחיפוש בקבצי טקסט של אלפי מילים בלי לחתוך פסקאות, בזכות חלון רחב במיוחד.

• חיפוש בפורומים וקהילות

  עובד טוב באיתור שאלות דומות ושרשורים טכניים כלליים באנגלית על חומרה ותוכנה.

• עיבוד על שרתי קצה חלשים

  צריכת הזיכרון הנמוכה שלו מתאימה להתקנה על שרתי מעבד זולים או שירותי ענן קטנים.

איפה זה נופל

הבעיה המרכזית שלו היא היעדר תמיכה בשפות שאינן אנגלית. הוא אומן על אנגלית בלבד, וכל ניסיון לתחקר איתו מסמכים בעברית יוביל לקריסה באיכות האחזור. בנוסף, 6 שכבות לא מספיקות בשביל לכידת ניואנסים עמוקים בנושאים טכניים צפופים כמו מתמטיקה, כפי שמעידות התוצאות הנמוכות במבחני בנצ'מרק ייעודיים.

איך מריצים

טוענים אותו ישירות דרך ספריית סנטנס טרנספורמרס בקוד פייתון רגיל. הקבצים שוקלים 735 מגה בייט ורצים בדיוק חצי צף, כך שכל מעבד ביתי מודרני מריץ אותו בלי שום צורך במאיץ גרפי ייעודי.

במשקל כזה אין שום היגיון לשלם על קריאות רשת חיצוניות או להתעסק בניהול מפתחות שירות. כל עוד מדובר בטקסט אנגלי, עדיף להריץ אותו ישירות בתהליך המקומי של השרת שלכם.

ollama run hf.co/mixedbread-ai/mxbai-embed-xsmall-v1:Q8_0

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

28 קבצים במאגר, 735 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• gguf/mxbai-embed-xsmall-v1-f32.gguf96.4 MB
• onnx/model.onnx96.0 MB
• openvino/openvino_model.bin95.8 MB
• onnx/model_q4.onnx60.2 MB
• onnx/model_bnb4.onnx59.5 MB
• gguf/mxbai-embed-xsmall-v1-bf16.gguf51.7 MB
• gguf/mxbai-embed-xsmall-v1-f16.gguf51.7 MB
• model.safetensors48.2 MB
• onnx/model_fp16.onnx48.1 MB
• onnx/model_q4f16.onnx32.9 MB
• gguf/mxbai-embed-xsmall-v1-q8_0.gguf30.8 MB
• onnx/model_int8.onnx24.4 MB
• onnx/model_quantized.onnx24.4 MB
• onnx/model_uint8.onnx24.4 MB
• openvino/openvino_model_qint8_quantized.bin24.4 MB
• tokenizer.json711.7 KB
• openvino/openvino_model_qint8_quantized.xml345.6 KB
• vocab.txt231.5 KB
• openvino/openvino_model.xml193.2 KB
• README.md81.2 KB
• .gitattributes1.8 KB
• tokenizer_config.json1.4 KB
• special_tokens_map.json695 B
• config.json675 B
• angle_config.json344 B
• 1_Pooling/config.json296 B
• modules.json229 B
• config_sentence_transformers.json195 B

הרישיון

הקוד והמשקולות מופצים תחת רישיון אפאצ'י שתיים אפס. מותר להשתמש בו באופן חופשי לחלוטין בפרויקטים מסחריים או פנימיים, לשנות את הקבצים ולהפיץ אותם בתוך המוצר, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗