jina-code-embeddings-1.5b
קוד פתוחjinaaicc-by-nc-4.02025-08-26
יש כאן גם סקירה על Jina AI עצמו.
מודל שיודע להמיר קטעי קוד וטקסט טכני לוקטורים מדויקים, עם חלון הקשר עצום של 32 אלף טוקנים. פתרון קל יחסית שמתאים לחיפוש בקוד, ניווט במאגרי פיתוח ומענה על שאלות טכניות.
- 1.5Bפרמטרים
- 32,768טוקנים בהקשר
- 2.9 GBמשקל הקבצים
- 21,650הורדות בחודש
מה זה
מדובר במודל הטמעה שנבנה על בסיס Qwen2.5-Coder-1.5B ומיועד למשימות חיפוש ואחזור בעולמות התוכנה. הוא תומך ביותר מ־15 שפות תכנות ומכסה תחומים כמו פיתוח ווב, למידת מכונה ופתרון בעיות תכנות. הייחוד שלו מול מודלים כלליים בגודל הזה הוא ההתמקדות בקוד, כולל היכולת להתאים את החיפוש לפי סוג המשימה באמצעות תחיליות ייעודיות לשאילתות טקסט לקוד, קוד לקוד או שאלות טכניות.
נקודה חזקה נוספת היא התמיכה ב־Matryoshka embeddings. וקטור ברירת המחדל הוא באורך 1536 ממדים, אבל אתם יכולים לקצץ אותו עד ל־128 ממדים כדי לחסוך מקום במסד הנתונים הוקטורי וזיכרון, בלי לאבד חלק ניכר מאיכות התוצאות לפי נתוני המפתחים.
מתאים ל
- חיפוש סמנטי במאגרי קוד
מאפשר לאתר פונקציות ורכיבים לפי תיאור מילולי חופשי ביותר מ־15 שפות תכנות שונות.
- אינדוקס קבצי קוד ארוכים
תומך בקבצים ומודולים שלמים בלי לחתוך אותם בזכות חלון של 32,768 טוקנים.
- בסיסי ידע טכניים למפתחים
מתאים למערכות שאלות ותשובות שמחברות בין שאלות באנגלית טכנית לתיעוד וקטעי קוד.
איפה זה נופל
הבעיה הגדולה ביותר נמצאת ברישיון, שאינו מאפשר שימוש מסחרי, מה שפוסל אותו אוטומטית עבור רוב המוצרים והסטארטאפים. מעבר לזה, המודל משתמש ב־last-token pooling ומחייב תחיליות ספציפיות כדי לפעול במיטבו, כך שאי אפשר סתם לזרוק אליו טקסט חופשי בלי לתאם את הפורמט מראש. כמו כן, חלון ארוך של עשרות אלפי טוקנים דורש בדיקה בפועל כדי לראות אם רמת הדיוק נשמרת גם כשהקובץ עמוס בלוגיקה מורכבת.
שאלות
נפוצות
האם אפשר להשתמש במודל הזה במוצר של החברה שלי?
לא. הרישיון הוא cc-by-nc-4.0, מה שאוסר כל שימוש מסחרי ישיר או עקיף. תצטרכו להסתפק בו לצורכי מחקר וניסויים פנימיים בלבד.
איך שומרים על ביצועים טובים עם מסד נתונים וקטורי מוגבל?
אפשר לחתוך את הוקטורים מ־1536 ממדים עד לרמה של 128 או 256 ממדים. המודל תוכנן מראש לתמוך בזה, מה שמקטין את נפח האחסון בצורה משמעותית.
איך מריצים
המשקל הכולל של הקבצים עומד על 2.9 גיגה-בייט בפורמט bfloat16, מה שאומר שכרטיס מסך בסיסי עם 6 עד 8 גיגה-בייט של זיכרון יריץ אותו בלי בעיה. הוא נתמך בספריות transformers, sentence-transformers וגם ב־vLLM, וכדאי להתקין flash-attention כדי להאיץ את הביצועים.
אם אתם צריכים לאנדקס קבצים ארוכים שמנצלים את כל 32 אלף הטוקנים, צריכת הזיכרון תעלה בצורה חדה בזמן הריצה. במצב כזה, או אם אין לכם תשתית GPU זמינה לתחזק בעצמכם, עדיף לבדוק שירותי ענן במקום להתעסק עם ניהול שרתים מקומיים.
from transformers import pipeline
pipe = pipeline("feature-extraction", model="jinaai/jina-code-embeddings-1.5b")
print(pipe("שלום"))הקבצים
9 קבצים במאגר, 2.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
המודל מופץ תחת רישיון cc-by-nc-4.0. זה אומר שמותר להוריד, לשנות ולחקור אותו רק לצרכים אישיים, אקדמיים או לא מסחריים, תוך מתן קרדיט ליוצרים. אסור בשום אופן לשלב אותו במוצר מסחרי, באפליקציה בתשלום או במערכת שמייצרת רווח לעסק.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא