nomic-embed-code

מה זה

מדובר במודל מבוסס ארכיטקטורת Qwen2 עם 7.1 מיליארד פרמטרים, שנבנה למשימה אחת ברורה, לקחת קטעי קוד או שאלות טקסטואליות ולהמיר אותם למרחב וקטורי. הוא אומן על מאגר CoRNStack, שמבוסס על גרסה מסוננת של Stackv2, ומשתמש בשיטות סינון כפולות כדי להבטיח שקטעי הקוד והתיעוד שלהם אכן תואמים סמנטית. חלון ההקשר עומד על 32,768 טוקנים, מה שמאפשר לבלוע קבצי קוד שלמים ולא רק פונקציות קצרות.

במדד CodeSearchNet הוא עוקף את Voyage Code 3 ואת המודל הגדול של OpenAI ברוב השפות שנבדקו, כולל פייתון עם ציון של 81.7 ו־Go עם 93.8. המשמעות בפועל היא שבשליפת קוד מתוך מאגרים גדולים, ההתאמה בין מה שהמשתמש חיפש לבין הקוד שתקבלו מדויקת יותר ממה שמקבלים ממודלים מסחריים מובילים. עם זאת, ברובי ובג'אווהסקריפט Voyage עדיין מוביל עליו בקטנה, כך שלא בכל שפה הוא לוקח מקום ראשון.

מתאים ל

• חיפוש סמנטי בקוד ארגוני

  מאפשר לאתר פונקציות ורכיבים במאגרי קוד ענקיים לפי משמעות ולא לפי התאמת מילים מדויקת.

• מערכות RAG לקוד

  מספק שליפה מדויקת של קטעי קוד רלוונטיים עבור מודלי שפה שמייצרים קוד או מתקנים באגים.

• זיהוי שכפול קוד

  מוצא קטעים עם לוגיקה זהה שנכתבו בצורה שונה בשש השפות שהמודל אומן עליהן.

איפה זה נופל

האימון התמקד בשש שפות בלבד: פייתון, ג'אווה, רובי, PHP, ג'אווהסקריפט ו־Go. אם בסיס הקוד כולל C++, ראסט, סקאלה או C#, אין נתונים על הביצועים שלו וסביר להניח שהדיוק יירד דרסטית. מעבר לזה, תהליך הסינון של דאטה-סט האימון הסיר מראש כל תיעוד שלא היה באנגלית. אם תנסו לחפש קוד באמצעות שאילתות בעברית, סיכוי קלוש שהמודל יבין מה אתם רוצים. החומרה הדרושה להרצה של מודל אמבדינג בגודל 7 מיליארד פרמטרים היא צוואר בקבוק רציני, במיוחד בזמן תגובה לעומת מודלים קטנים בהרבה.

איך מריצים

המודל שוקל 26.4 גיגה בייט ומגיע בקבצי float32. כדי להריץ אותו כמו שהוא צריך כרטיס מסך עם לפחות 32 גיגה בייט של זיכרון גרפי, או לפצל אותו בין כמה כרטיסים. בסביבת פיתוח פשוטה אפשר לטעון אותו דרך ספריית sentence-transformers עם torch וטרנספורמרס, תוך שימוש בהגדרת הפרומפט המתאימה לשאילתות.

אם אין לכם כרטיסי A100 או לפחות כרטיס מקצועי חזק בשרת, להרים אותו לבד זה מהלך כבד ויקר יחסית למודל הטמעה. במקרים כאלה עדיף לבדוק שירותים מנוהלים כמו SageMaker של אמזון שבו הוא מפורסם, או להשתמש ב־API של Nomic Atlas.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("nomic-ai/nomic-embed-code")
v = m.encode(["שלום עולם"])

הקבצים

20 קבצים במאגר, 26.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00005-of-00006.safetensors5.0 GB
• model-00001-of-00006.safetensors5.0 GB
• model-00004-of-00006.safetensors4.9 GB
• model-00003-of-00006.safetensors4.9 GB
• model-00002-of-00006.safetensors4.8 GB
• model-00006-of-00006.safetensors3.7 GB
• tokenizer.json11.4 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• model.safetensors.index.json25.7 KB
• tokenizer_config.json7.3 KB
• README.md5.8 KB
• .gitattributes1.6 KB
• config.json704 B
• special_tokens_map.json613 B
• added_tokens.json605 B
• modules.json349 B
• 1_Pooling/config.json297 B
• config_sentence_transformers.json274 B
• sentence_bert_config.json55 B

הרישיון

רישיון apache-2.0 מאפשר שימוש חופשי לחלוטין, כולל שימוש מסחרי, שינוי הקוד והפצה פנימית או חיצונית במוצר שלכם. אין דרישה לפתוח את הקוד שלכם בתמורה, וכל מה שנדרש הוא לשמור על הודעת זכויות היוצרים והרישיון המקורי בקבצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗