Nemotron-3-Embed-1B-BF16

מה זה

אנבידיה לקחה את מודל הבסיס Ministral 3B, גזמה אותו פעמיים באמצעות חיפוש ארכיטקטורה, וזיככה את המשקולות מול מודל 8B כדי להחזיר את הדיוק שאבד. התוצאה היא מודל שיכוך של 1.14 מיליארד פרמטרים שמוציא וקטורים בגודל 2048 ממדים, עם תמיכה בחיתוך דינמי לממדים נמוכים יותר כמו 1024 או 512 כל עוד מבצעים נרמול L2 מחדש.

המודל נבדק ב־34 שפות שונות, ורשם ביצועים מובילים במבחני שליפה רב-לשוניים בהשוואה למודלים בגודל דומה. הוא בנוי לעבודה בחיפוש סמנטי ובמערכות RAG, ומסתמך על קידומות מוגדרות מראש לשאילתות ולמסמכים כדי למקסם את איכות ההתאמה.

מתאים ל

• חיפוש במסמכים רב-לשוניים

  שליפה מדויקת מתוך מאגר שכולל עשרות שפות נתמכות, בזכות אימון ייעודי על נתוני חיפוש מגוונים.

• אינדוקס חסכוני במקום

  חיתוך הוקטור ל־512 או 1024 ממדים מקטין בחצי את נפח האחסון בבסיס הנתונים הווקטורי.

• שליפת מידע למערכות RAG

  הפקת ייצוגים צפופים שמאפשרים חישוב דמיון קוסינוס פשוט ויעיל מול טקסטים ארוכים של עד 32K טוקנים.

איפה זה נופל

הכרטיס מפרט הערכה על 34 שפות, אבל עברית לא מופיעה ברשימה הזו, כך שאי אפשר לסמוך עליו בעברית בלי לבדוק אותו קודם על הנתונים שלכם. בנוסף, חובה להוסיף את התחיליות הנכונות לפני הטקסט, אחרת איכות החיפוש תיפגע. אם חותכים את אורך הוקטור כדי לחסוך מקום, חייבים להריץ נרמול L2 באופן ידני בקוד שלכם, והאורך המקסימלי בפועל מוגבל ל־32,768 טוקנים למרות הנתון הטכני הגבוה.

אותה משפחה

Nemotron-3-Embed יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים עומד על 2.1 גיגה-בייט בפורמט BF16, כך שאפשר להריץ אותו בקלות על כרטיס מסך בודד עם 8 עד 16 גיגה זיכרון. הטעינה נעשית ישירות דרך ספריית sentence-transformers או דרך vLLM, שמאפשרת גם קוונטיזציה של FP8 לכרטיסי Hopper ו־Ada Lovelace.

אם אתם עובדים ב־vLLM אפשר לחשוף נקודת קצה שתואמת ל־OpenAI או להשתמש ב־API הפנימי שלהם. כדאי להרים שרת עצמאי כזה כשיש עומס רציף של שאילתות, אבל אם אתם צריכים רק לעבד כמה מסמכים פעם ביום, הרצה מקומית קצרה בסקריפט פייתון פשוט תחסוך לכם תחזוקת תשתית.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("nvidia/Nemotron-3-Embed-1B-BF16")
v = m.encode(["שלום עולם"])

הקבצים

15 קבצים במאגר, 2.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors2.3 GB
• tokenizer.json17.1 MB
• README.md36.3 KB
• THIRD_PARTY_NOTICES.md24.8 KB
• tokenizer_config.json21.1 KB
• model.safetensors.index.json8.9 KB
• LICENSE2.8 KB
• CONTRIBUTING.md2.5 KB
• .gitattributes1.6 KB
• NOTICE1.4 KB
• config.json1.1 KB
• modules.json350 B
• 1_Pooling/config.json298 B
• config_sentence_transformers.json261 B
• sentence_bert_config.json56 B

הרישיון

המודל מופץ תחת רישיון OpenMDW בגרסה 1.1 יחד עם אזכור של Apache 2.0, והוא מוגדר רשמית כמתאים לשימוש מסחרי. עם זאת, התקנת הפרויקט מושכת תלויות צד שלישי בקוד פתוח, ולכן מומלץ לבדוק את הרישיונות של כל חבילה לפני שמשלבים אותה במוצר סגור.

הרישיון המלא בעמוד המודל ↗