NV-Embed-v2

מה זה

מדובר במודל ייצוג וקטורי בעל 7.9 מיליארד פרמטרים שפותח על ידי אנבידיה, משימה שרוב התעשייה פותרת בדרך כלל עם מודלים קטנים בהרבה של כמה מאות מיליוני פרמטרים. הגודל הזה מעניק לו כושר הבחנה גבוה במיוחד במשימות סיווג ודמיון סמנטי, כפי שרואים בתוצאות מבחני MTEB עם דיוק של מעל 97 אחוזים בסיווג קוטביות וציונים גבוהים באיחזור.

הייחוד המרכזי נמצא ביכולת לעבד טקסטים ארוכים במיוחד תחת חלון של 32,768 טוקנים. במקום לחתוך מאמרים טכניים או דוחות לחתיכות קצרות של 512 טוקנים ולאבד את ההקשר הרחב, המודל הזה קורא בלוקים עצומים ומפיק מהם וקטור בודד ששומר על הקשרים מורכבים.

מתאים ל

• אינדוקס מסמכים טכניים ארוכים

  חלון של 32K טוקנים מונע פיצול מאמרים מדעיים שפוגע במשמעות.

• איחזור מידע למערכות RAG באנגלית

  התוצאות במבחני FEVER ו־HotpotQA מראות דיוק גבוה באיתור עובדות.

• סיווג כוונות במערכות שיחה

  דיוק של מעל 94 אחוזים בבדיקות Massive ו־MTOP באנגלית.

איפה זה נופל

המודל מוגדר ומאומן לאנגלית בלבד, כך שהוא לא מתאים לעיבוד טקסטים בעברית או למאגרי מידע מעורבים. בנוסף, המבחנים מראים נפילות מורגשות במשימות מסוימות, למשל ביצועים חלשים יחסית בדירוג מחדש בנתוני MindSmall עם ציון של 31.75, ודיוק נמוך של 63.96 אחוזים בסיווג ביקורות אמזון מורכבות.

אותה משפחה

NV-Embed יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו צריך כרטיס מסך רציני. המשקלים תופסים 14.6 גיגה בייט בפורמט float16, מה שאומר שצריך GPU עם לפחות 24 גיגה בייט זיכרון רק כדי לטעון אותו, ועוד תוספת נכבדה לזיכרון הריצה אם מנצלים את מלוא חלון ההקשר.

אם יש לכם שרת עם A10G או A100 אפשר להריץ אותו ישירות דרך ספריית transformers. למי שאין תשתית כזאת זמינה באופן רציף, כדאי לשקול פתרונות ענן או שירותי אירוח חיצוניים שמחייבים לפי קריאה, כי החזקת חומרה כזו דולקת רק בשביל אינדוקס מזדמן עולה המון כסף.

from transformers import pipeline

pipe = pipeline("feature-extraction", model="nvidia/NV-Embed-v2")
print(pipe("שלום"))

הקבצים

19 קבצים במאגר, 14.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00003-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00002-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors788.6 MB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• README.md60.1 KB
• model.safetensors.index.json28.2 KB
• modeling_nvembed.py18.6 KB
• configuration_nvembed.py3.2 KB
• config.json2.7 KB
• instructions.json2.6 KB
• .gitattributes1.5 KB
• tokenizer_config.json997 B
• special_tokens_map.json551 B
• modules.json349 B
• 1_Pooling/config.json298 B
• config_sentence_transformers.json171 B
• sentence_bert_config.json55 B

הרישיון

הרישיון הוא cc-by-nc-4.0. זה אומר שמותר להוריד, לחקור, לשנות ולהריץ את המודל לצרכים פנימיים, מחקריים או אישיים בלבד. שימוש מסחרי מכל סוג אסור לחלוטין, כך שאי אפשר לשלב אותו במוצר שמייצר הכנסה או מוצע ללקוחות.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗