omni-embed-nemotron-3b

מה זה

מדובר במודל הטמעה שנשען על רכיב הראייה והחשיבה של Qwen2.5-Omni-3B, אבל בלי רכיב הדיבור שמייצר תשובות. במקום לייצר פלט טקסטואלי, הוא לוקח קלט מכל סוג ומחזיר וקטור באורך 2048. החידוש הטכני העיקרי כאן הוא הפרדת ערוצי האודיו והווידאו בזמן הקידוד במקום לערבב אותם, מה שלפי אנבידיה משפר את דיוק השליפה לאורך ציר הזמן.

במדדי וידאו כמו FineVideo הוא מוביל על מודלים מבוססי טקסט עם ציון NDCG@10 של 0.5662. מצד שני, בבדיקות טקסט טהורות מול MTEB הוא מקבל ממוצע של 0.6059, שזה נמוך יותר ממתחרים ייעודיים כמו Qwen3-Embedding-4B שהגיע ל־0.6654. גם בשליפת מסמכים ויזואליים ב־ViDoRe V1 הוא הגיע ל־85.7, הרחק מאחורי סדרת NeMo-Retriever הקודמת שחצתה את ה־90.

מתאים ל

• חיפוש בקובצי וידאו ואודיו

  הוא קולט וידאו ישירות ומאפשר למצוא קטעים מדויקים באמצעות שאילתת טקסט חופשית.

• מערכות RAG משולבות מדיה

  מתאים למי שרוצה לשלוף מסמכים המכילים טקסט, תרשימים והקלטות בלי להפריד אותם.

• מחקר אקדמי במולטימודל

  בסיס נוח לבדיקת ארכיטקטורות שמפרידות ערוצי וידאו ואודיו בהטמעות.

איפה זה נופל

אם אתם צריכים חיפוש בטקסט בלבד, אל תגעו בו. הוא חלש משמעותית ממודלים ייעודיים לטקסט בגודל דומה, וגם בסריקת מסמכים מבוססי תמונה הוא מפסיד לכלים פשוטים יותר. בנוסף, הוא אומן רק על אנגלית, כך שאין מה לבנות עליו לחיפוש בעברית. עיבוד וידאו ואודיו ארוכים דורש כוונון ידני של חלוקת הפריימים והרזולוציה, אחרת תחצו בקלות את גבול 32,768 הטוקנים והשאילתה תיחתך.

איך מריצים

המודל שוקל 8.8 גיגה בייט בפורמט bfloat16, ומכיל כ־4.7 מיליארד פרמטרים. לפי התיעוד של אנבידיה הוא נבדק על כרטיסי A100 עם 40 או 80 גיגה זיכרון ועל H100 תחת לינוקס. להרצה מקומית תצטרכו כרטיס עם לפחות 16 עד 24 גיגה VRAM רק כדי לטעון אותו, ועוד זיכרון נכבד אם תרצו לנצל את חלון ההקשר המלא שמגיע ל־32,768 טוקנים עבור קובצי וידאו.

ההפעלה מתבצעת ישירות דרך ספריית sentence-transformers או גרסה ספציפית של transformers שהותאמה למודל. אנבידיה תומכת בו גם בסביבות Triton ו־TensorRT. אם אין לכם תשתית שרתים ייעודית עם מאיצי אנבידיה, עיבוד של קובצי וידאו ואודיו כבדים יחנוק לכם את החומרה המקומית במהירות.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("nvidia/omni-embed-nemotron-3b")
v = m.encode(["שלום עולם"])

הקבצים

22 קבצים במאגר, 8.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors5.0 GB
• model-00002-of-00002.safetensors4.4 GB
• tokenizer.json11.4 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• model.safetensors.index.json116.1 KB
• README.md21.0 KB
• tokenizer_config.json5.3 KB
• LICENSE4.1 KB
• config.json2.9 KB
• modeling_nv_omni_embed.py1.9 KB
• .gitattributes1.6 KB
• chat_template.jinja1.3 KB
• sentence_bert_config.json909 B
• special_tokens_map.json833 B
• additional_chat_templates/sentence_transformers.jinja805 B
• preprocessor_config.json667 B
• added_tokens.json579 B
• modules.json429 B
• config_sentence_transformers.json309 B
• 1_Pooling/config.json91 B
• generation_config.json74 B

הרישיון

המודל סגור לשימוש מחקרי ובדיקות בלבד תחת רישיון NVIDIA OneWay Noncommercial ובכפוף להסכם המחקר של Qwen. אסור להטמיע אותו במוצר מסחרי, באפליקציה בתשלום או במערכת פנימית של חברה עסקית. אם אתם מתכננים מוצר אמיתי, תצטרכו למצוא חלופה חופשית.

הרישיון המלא בעמוד המודל ↗