nomic-embed-text-v2-moe

מה זה

במקום להפעיל את כל 475 מיליון הפרמטרים בכל שאילתה, המבנה מפעיל רק 305 מיליון פרמטרים פעילים מתוך שמונה מומחים. התוצאה היא מודל וקטורי רב לשוני שמתחרה ישירות במודלים כבדים ממנו פי שניים, כמו אלה עם מעל 560 מיליון פרמטרים.

במדד MIRACL הרב לשוני הוא מגיע לציון 65.80, שגובר בבירור על מודלים מקבילים בגודל של כ־300 מיליון פרמטרים כמו mGTE ו־mE5. במדד BEIR באנגלית הוא משיג 52.86, שזה שיפור מול דגמים מקבילים אך נמוך במעט מ־Arctic Embed v2 שמגיע ל־55.40. היתרון הנוסף נמצא בתמיכה במטריושקה, שמאפשרת לחתוך את הווקטור מ־768 ממדים ל־256 בלבד, מה שמקצץ את נפח האחסון בבסיס הנתונים פי שלושה עם פגיעה קטנה מאוד בביצועים.

מתאים ל

• חיפוש סמנטי רב לשוני

  שליפת מידע בין שפות אירופיות שונות באיכות גבוהה של מדד MIRACL ובלי להחזיק מודל ענק.

• אינדוקס חסכוני באחסון

  כיווץ הווקטור ל־256 ממדים מאפשר לשמור מיליוני רשומות בבסיס נתונים וקטורי בעלות אחסון נמוכה.

• שליפה למערכות RAG

  זמני תגובה קצרים יותר בשאילתות תודות להפעלת 305 מיליון פרמטרים פעילים בלבד במבנה מומחים.

איפה זה נופל

ההגבלה הראשונה והבולטת היא אורך הקלט, המוגבל ל־512 טוקנים בהוראות השימוש של הכרטיס, כך שהוא לא מתאים למסמכים ארוכים ללא פירוק מוקדם לחלקים. כמו כן, חובה להוסיף קידומת ייעודית לכל טקסט, search_query לשאילתות ו־search_document למסמכים, ובלי זה איכות התוצאות צונחת.

מבחינת שפות, הכרטיס מפרט תמיכה בשפות אירופיות מרכזיות כמו אנגלית, ספרדית, גרמנית וצרפתית, אך אינו מציין עברית ברשימת השפות הרשמית. ביצועי המודל משתנים בין שפות שונות, ודרישות הזיכרון בעת טעינת כל המומחים עשויות להיות מורכבות יותר בהשוואה למודל דחוס רגיל.

אותה משפחה

nomic-embed-text-v2-moe יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים עומד על 1.8 גיגה בייט, כך שכל כרטיס מסך מודרני עם לפחות 4 או 6 גיגה זיכרון מריץ אותו בלי להזיע. הטעינה בספריית sentence-transformers דורשת להפעיל במפורש את הדגל trust_remote_code כדי לטעון את הארכיטקטורה הייעודית, ומומלץ להתקין את megablocks של החברה מגיטהאב כדי למקסם את הביצועים על כרטיס המסך.

שווה להריץ אותו עצמאית כשבונים מערכת RAG פנימית עם דרישות פרטיות גבוהות או נפח שאילתות גדול, בעיקר בגלל שהמשאבים הנדרשים נמוכים. אם אין לכם תשתית שרתים יציבה עם מעבד גרפי או שאתם בונים רק אב טיפוס מהיר, שימוש ב־SageMaker או בפלטפורמת Atlas של Nomic יחסוך את התחזוקה.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("nomic-ai/nomic-embed-text-v2-moe")
v = m.encode(["שלום עולם"])

הקבצים

12 קבצים במאגר, 1.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors1.9 GB
• tokenizer.json17.1 MB
• sentencepiece.bpe.model5.1 MB
• README.md9.1 KB
• config.json2.5 KB
• .gitattributes1.6 KB
• tokenizer_config.json1.1 KB
• special_tokens_map.json964 B
• config_sentence_transformers.json554 B
• modules.json349 B
• 1_Pooling/config.json296 B
• sentence_bert_config.json53 B

הרישיון

הרישיון הוא Apache 2.0 מלא. אפשר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים סגורים בלי תמלוגים. התנאי היחיד הוא שמירת הצהרת זכויות היוצרים והרישיון המקורי, לצד ציון שינויים שבוצעו בקוד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗