Linq-Embed-Mistral

מה זה

מדובר במודל שמפיק וקטורים מייצגים לטקסט ונשען על ארכיטקטורת Mistral של 7.1 מיליארד פרמטרים. היתרון המרכזי שהוא מביא לעומת מודלי אמבדינג נפוצים כמו BERT נעוץ בגודל החלון, 32,768 טוקנים שמאפשרים לקרוא קבצים כבדים ברצף אחד במקום לחלק לפסקאות ולאבד את ההקשר הכללי.

במבחני MTEB הוא רושם ביצועים מעורבים. באחזור שאלות ותשובות קצרות כמו Quora או FEVER הוא מציג דיוק גבוה מאוד, עם תוצאות recall של מעל 94 אחוז כבר בעשרת הפריטים הראשונים. לעומת זאת, במשימות אחזור מורכבות יותר כמו MSMARCO או מידע רפואי ב־NFCorpus, מדדי ה־MRR שלו צונחים לאזור ה־38 וה־63, מה שאומר שהרבה פעמים התשובה הרלוונטית לא תצוף ראשונה.

מתאים ל

• אחזור מסמכים ארוכים

  חלון של 32 אלף טוקנים מאפשר להמיר חוזים וספרים טכניים שלמים לווקטור יחיד באנגלית.

• זיהוי שאלות כפולות

  מציג מעל 89 אחוז דיוק באחזור וסדר תוצאות במאגרי שאלות דוגמת Quora ו־AskUbuntu.

• אימות עובדות באנגלית

  משיג MRR של 93.5 במאגר FEVER, ומסייע בחיבור בין טענות למקורות תומכים.

איפה זה נופל

החיסרון המרכזי הוא תמיכה בשפות, המודל אומן ונבדק על אנגלית בלבד ולכן לא יתאים למאגרי מידע בעברית. בנוסף, משימות סיווג רגש מציגות דיוק חלש של 51.8 אחוז, ומבחני אשכול מידע מדעי כמו Medrxiv קיבלו ציון V-measure נמוך סביב 37. המודל גם יקר מאוד להרצה בזמן אמת עקב גודלו, ואינו כולל נתונים בכרטיס לגבי צריכת זיכרון מותאמת תחת קוונטיזציה.

איך מריצים

כדי להריץ אותו מקומית בפורמט float16 המקורי צריך מאיץ גרפי עם לפחות 16 עד 24 גיגה זיכרון, שכן משקל הקבצים לבדו מגיע ל־13.3 גיגה. הטעינה נעשית ישירות דרך ספריית sentence-transformers או transformers הרגילה, אבל כל שאילתה דורשת חישוב של 7 מיליארד פרמטרים.

אם אין לכם כרטיס ייעודי כמו A100 או לפחות RTX 3090, עדיף לחפש ספק שמחזיק API ייעודי לאמבדינג בגודל כזה. הרצה על שרת ענן פשוט תהיה אטית להחריד ותעלה לא מעט כסף רק על זמני החישוב של הווקטורים.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("Linq-AI-Research/Linq-Embed-Mistral")
v = m.encode(["שלום עולם"])

הקבצים

16 קבצים במאגר, 13.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00003.safetensors5.0 GB
• model-00001-of-00003.safetensors4.9 GB
• model-00003-of-00003.safetensors4.3 GB
• LinqAIResearch2024_Linq-Embed-Mistral.pdf8.0 MB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• README.md53.7 KB
• model.safetensors.index.json22.2 KB
• .gitattributes1.7 KB
• tokenizer_config.json1.0 KB
• config.json663 B
• special_tokens_map.json624 B
• 1_Pooling/config.json297 B
• modules.json229 B
• config_sentence_transformers.json205 B
• sentence_bert_config.json55 B

הרישיון

הרישיון הוא cc-by-nc-4.0, מה שאוסר שימוש מסחרי מכל סוג. אתם יכולים להשתמש בו למחקר, לבדיקות פנימיות או לפרויקטים אישיים, אבל אסור לשלב אותו במוצר שמייצר הכנסות או במערכת ארגונית מסחרית.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗