KaLM-embedding-multilingual-mini-instruct-v2.5

מה זה

מדובר במודל מבוסס ארכיטקטורת Qwen2 שמיועד לחילוץ מאפיינים וטעינת טקסטים לוקטורים. המפתחים אימנו אותו בשיטות של זיקוק ניגודי ודגימות שליליות קשות, וטוענים שהוא מתחרה במודלים הגדולים ממנו עד פי 26 במבחני MTEB באנגלית ובסינית.

הייחוד הטכני הבולט שלו הוא תמיכה בייצוגי Matryoshka. ממד הבסיס הוא 896, אבל אפשר לחתוך את הוקטור לערכים של 512, 256, 128 או 64 בלי לאבד את כל כוח החיפוש. בנוסף, הוא עובד עם הוראות הנחיה לפני השאילתה, מה שמחדד את התוצאות במשימות אסימטריות כמו אחזור מידע לעומת סיווג.

מתאים ל

• חיפוש סמנטי באנגלית וסינית

  טוב למערכות אחזור שצריכות דיוק גבוה בלי להחזיק שרת יקר ומורכב.

• מסדי וקטורים מוגבלי זיכרון

  חיתוך הוקטורים עד לגודל 64 מאפשר לצמצם עלויות RAM בדיסק ובאינדקס.

• סיווג טקסטים לפי הנחיה

  התאמת אופי הוקטור באמצעות Instruct מקצרת תהליכי מיון טקסטים.

איפה זה נופל

למרות המילה מולטילינגואל בשם, המודל אומן ונבדק על אנגלית וסינית בלבד, ולכן אין מה לבנות עליו לעברית בלי בדיקה יסודית שתוכיח שהוא מבין את השפה. בנוסף, קיים פער מהותי בין המטא־דאטה שמציין חלון של 131,072 טוקנים לבין גוף התיעוד שמגדיר אורך קלט מקסימלי של 32 אלף טוקנים ובקוד עצמו מגביל ברירת מחדל ל־512. מומלץ לבדוק ביצועים בפועל לפני שמזינים טקסטים ארוכים במיוחד.

איך מריצים

טוענים את המודל דרך ספריית sentence-transformers עם תמיכה ישירה ב־PyTorch או vLLM בגרסה 0.8.5 ומעלה. הקבצים שוקלים 1.9 גיגה בייט, כך שהוא רץ בקלות על כרטיס מסך בסיסי עם 4 עד 6 גיגה זיכרון, ואפשר להריץ אותו אפילו על מעבד אם אין ברירה. המפתחים ממליצים להשתמש ב־bfloat16 ו־Flash Attention 2 כדי לייעל את המהירות.

הקריאה ל־API חיצוני מיותרת כאן כמעט לחלוטין. בגלל המשקל הקל, עלויות התשתית להרצה עצמית זניחות ביחס לתשלום לפי טוקנים לשירות ענן, בעיקר אם מייצרים וקטורים לכמויות גדולות של מסמכים.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("KaLM-Embedding/KaLM-embedding-multilingual-mini-instruct-v2.5")
v = m.encode(["שלום עולם"])

הקבצים

23 קבצים במאגר, 1.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors2.0 GB
• tokenizer.json11.4 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• imgs/overall.jpg761.8 KB
• imgs/mteb_eng.jpg575.4 KB
• imgs/perf.jpg459.9 KB
• imgs/mteb_cmn.jpg440.8 KB
• imgs/matry.jpg437.6 KB
• imgs/ood.jpg385.9 KB
• imgs/logo.jpg162.2 KB
• imgs/archi.jpg151.6 KB
• modeling.py63.5 KB
• README.md9.7 KB
• .gitattributes2.0 KB
• tokenizer_config.json1.5 KB
• config.json759 B
• special_tokens_map.json370 B
• modules.json349 B
• config_sentence_transformers.json320 B
• 1_Pooling/config.json296 B
• added_tokens.json80 B
• sentence_bert_config.json55 B

הרישיון

הקוד והמשקלים שוחררו תחת רישיון apache-2.0. מותר להשתמש במודל לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצר סגור. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי בקבצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗