jina-embeddings-v2-base-code

מה זה

המודל מחזיק 161 מיליון פרמטרים ומתמחה בחיפוש סמנטי של קוד ובשאלות ותשובות טכניות. הבסיס שלו אומן על מאגר github-code, ואחר כך עבר כוונון על יותר מ־150 מיליון זוגות של שאלות, תשובות, תיעוד וקוד מקור. הוא מכסה אנגלית לצד 30 שפות תכנות וסביבות פיתוח שונות, כולל פייתון, ג'אווה, ראסט, שפות שיל ו־SQL.

הייחוד המרכזי כאן מול מודלים דומים בגודל הזה הוא חלון הקשר של 8,192 טוקנים. רוב מודלי ה־BERT הוותיקים נעצרים ב־512 טוקנים, מה שמאלץ לפרק פונקציות וקבצים לחתיכות קטנות. הודות לשימוש בגרסה דו-כיוונית של מנגנון ALiBi, המודל מסוגל לקבל קבצי קוד שלמים ומסמכי תיעוד ארוכים, למרות שתהליך האימון בפועל נעשה על רצפים קצרים בהרבה של 512 טוקנים בלבד.

מתאים ל

• חיפוש סמנטי במאגרי קוד

  התאמה בין חיפוש באנגלית חופשית לקטעי קוד מורכבים בשלושים שפות תכנות שונות.

• שליפת הקשר למערכות RAG

  שליפת קבצים מלאים של עד 8,192 טוקנים עבור עוזרי פיתוח ומודלי שפה בלי לקטוע פונקציות.

• הצמדת תיעוד למימושים

  אינדוקס קבצי תיעוד ומדריכים טכניים לצד קוד המקור לצורך שליפה מדויקת של הסברים.

איפה זה נופל

למרות שהוא תומך בעד 8,192 טוקנים, המודל אומן בפועל רק על אורך של 512 טוקנים ונשען על אקסטרפולציה מתמטית כדי להבין טקסטים ארוכים יותר. כתוצאה מכך, הדיוק בקצוות של קבצים מורכבים עלול לרדת, וחובה לבדוק אותו על מאגר הקוד שלכם מול קטעים באורכים שונים. בנוסף, הוא תומך בשפה טבעית אחת בלבד, אנגלית, כך שהוא לא מתאים למאגרי קוד שמכילים הערות או תיעוד בעברית.

איך מריצים

בגלל גודל של 1.7 גיגה-בייט ומשקל חישובי של 161 מיליון פרמטרים, המודל הזה רץ בקלות על כרטיס מסך בסיסי או על מעבד שרתים סטנדרטי בלי לדרוש חומרה יקרה. טוענים אותו דרך sentence-transformers או ספריית transformers הרגילה, אבל חובה להפעיל את הדגל trust_remote_code כדי שהקוד הייעודי של הארכיטקטורה ירוץ.

אפשר להריץ אותו ישירות גם ב־JavaScript באמצעות ספריית Transformers.js, כולל גרסה מכווצת ל־8 ביט. אם נפח השאילתות שלכם קטן מאוד או שאתם בונים אב טיפוס מהיר, שימוש ב־API של Jina חוסך תחזוקת תשתית, אבל למערכות עם שימוש רציף שווה בהחלט להרים מופע עצמאי.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("jinaai/jina-embeddings-v2-base-code")
v = m.encode(["שלום עולם"])

הקבצים

18 קבצים במאגר, 1.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• onnx/model.onnx641.5 MB
• pytorch_model.bin321.8 MB
• model.safetensors321.8 MB
• onnx/model_fp16.onnx321.1 MB
• onnx/model_quantized.onnx161.9 MB
• tokenizer.json2.6 MB
• trainer_state.json1.2 MB
• vocab.json970.6 KB
• README.md7.4 KB
• .gitattributes1.5 KB
• config.json1.2 KB
• tokenizer_config.json493 B
• special_tokens_map.json280 B
• modules.json229 B
• train_results.json198 B
• 1_Pooling/config.json191 B
• sentence_bert_config.json99 B
• generation_config.json90 B

הרישיון

הקוד והמשקולות משוחררים תחת רישיון apache-2.0. הרישיון מאפשר שימוש מסחרי חופשי, שינוי של המודל, הפצה פנימית ושילוב שלו בתוך מוצרים מסחריים בלי תשלום תמלוגים, בתנאי ששומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗