snowflake-arctic-embed-m

מה זה

מדובר במודל וקטורי מבוסס ארכיטקטורת ברט עם 109 מיליון פרמטרים וחלון הקשר סטנדרטי של 512 טוקנים, שפותח במיוחד למשימות שליפת מידע וחיפוש סמנטי. בניגוד למודלים ענקיים שדורשים תשתית יקרה, הוא בנוי לרוץ מקומית בלי לפוצץ את התקציב, ומספק תוצאות חזקות מאוד ביחס למשקל שלו.

תוצאות הבנצ'מרק של MTEB מראות שהוא מצטיין בעיקר בשליפה ובדירוג מחדש, למשל ציון MRR של 74.5 במערך AskUbuntuDupQuestions ודמיון סמנטי מעולה מעל 86 נקודות בביו־רפואה. מנגד, הוא מתקשה בסיווג מורכב כמו ביקורות אמזון מרובות דירוגים, שם קיבל 38.93 אחוזי דיוק בלבד. המשמעות ברורה: הוא מיועד למצוא קטעים רלוונטיים ולא לנתח סנטימנט עדין.

מתאים ל

• חיפוש סמנטי במסמכים קצרים

  מצטיין במציאת פסקאות רלוונטיות באנגלית לפי משמעות ולא לפי מילים מדויקות.

• שליפת מידע עבור RAG

  בסיס קל ומהיר לשליפת הקשר למודל שפה, שרץ בקלות על אותו שרת.

• זיהוי שאלות כפולות

  עובד מעולה באיתור כפילויות במאגרי ידע טכניים לפי מבחני ביצועים.

איפה זה נופל

המגבלה המרכזית היא חלון הקשר של 512 טוקנים, שמחייב לחתוך מסמכים ארוכים למקטעים קטנים ולא מתאים לניתוח טקסטים שלמים. בנוסף, המודל אומן והוערך על נתונים באנגלית, ואין עדות ליכולת סבירה בעברית. אל תבנו עליו לסיווג טקסטים מורכב כי התוצאות שלו שם נמוכות למדי.

אותה משפחה

snowflake-arctic-embed-m יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים עומד על 1.6 גיגה בייט בדיוק של float32, כך שאין צורך במעבד גרפי ייעודי. כל מעבד שולחני מודרני או שרת ענן פשוט עם שניים עד ארבעה גיגה בייט זיכרון פנוי יריצו אותו בלי מאמץ דרך ספריית sentence-transformers או ישירות בדפדפן עם transformers.js.

אם אתם צריכים לאנדקס מיליוני מסמכים במהירות שיא, כרטיס מסך בסיסי יקצר את הזמנים. לקרוא ל־API חיצוני שווה רק אם אין לכם שום רצון לנהל שרתים עצמאיים, כי התקורה של החזקת המודל הזה לבד כמעט אפסית.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("Snowflake/snowflake-arctic-embed-m")
v = m.encode(["שלום עולם"])

הקבצים

19 קבצים במאגר, 1.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• onnx/model.onnx435.8 MB
• model.safetensors435.6 MB
• onnx/model_fp16.onnx218.1 MB
• onnx/model_q4.onnx149.2 MB
• onnx/model_bnb4.onnx143.9 MB
• onnx/model_int8.onnx110.1 MB
• onnx/model_quantized.onnx110.1 MB
• onnx/model_uint8.onnx110.1 MB
• tokenizer.json711.6 KB
• vocab.txt231.5 KB
• README.md85.5 KB
• .gitattributes1.5 KB
• tokenizer_config.json1.4 KB
• config.json738 B
• special_tokens_map.json695 B
• modules.json349 B
• 1_Pooling/config.json296 B
• config_sentence_transformers.json252 B
• sentence_bert_config.json107 B

הרישיון

הקוד והמשקלים שוחררו תחת רישיון apache-2.0. מותר להשתמש במודל לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצרים סגורים ולהפיץ אותו בחופשיות, בתנאי ששומרים על הודעת זכויות היוצרים המקורית והצהרת הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗