SFR-Embedding-Mistral

מה זה

מדובר במודל שמייצר וקטורים מטקסט על בסיס הארכיטקטורה של מיסטרל, כשהוא מאומן למשימות של שליפת מידע, סיווג והשוואת דמיון. בניגוד לרוב מודלי השיעבוד הקטנים שמבוססים על ארכיטקטורות ישנות, הגודל הזה מעניק לו הבנה סמנטית עמוקה בהרבה של הקשרים מורכבים בתוך פסקאות ארוכות.

במבחני הביצועים של מדד MTEB הוא רושם ציונים חזקים מאוד בשליפה עובדתית, עם ציון recall של מעל 95 אחוזים בעשר התוצאות הראשונות במאגר FEVER, ומעל 92 אחוזים במאגר ArguAna. מצד שני, במשימות סיווג מורכבות יותר כמו רגשות או דירוגי מוצרים רב שכבתיים, הביצועים שלו צונחים לאזור ה־50 עד 54 אחוזי דיוק, מה שמראה שהכוח האמיתי שלו נמצא באחזור מידע ולא בהכרח בהכרעות תוכן עדינות.

מתאים ל

• חיפוש במאמרים אקדמיים

  יכולת הדחיסה של מסמכים ארוכים הופכת אותו למעולה בשליפת מאמרים דומים מקבצי מחקר.

• אימות טענות ועובדות

  בדיקות הראו מעל 95 אחוזי איתור נכון של מקורות מידע תומכים במאגר FEVER באנגלית.

• אחזור למערכות RAG מורכבות

  מתאים כשצריך לשלוף חלקי קוד או מסמכים טכניים ארוכים עבור מודלי שפה אחרים.

איפה זה נופל

הבעיה המרכזית שלו היא השפה: המודל מאומן ומתועד עבור אנגלית בלבד. אם תזרקו עליו עברית, הוקטורים יאבדו חלק ניכר מהמשמעות שלהם ולא תקבלו תוצאות חיפוש אמינות. מעבר לזה, חלון הקשר ענקי דורש כוח עיבוד כבד מאוד בזמן ריצה, והוא אינו מתאים למי שמחפש זמני תגובה של אלפיות שניה בשרת זול.

איך מריצים

כדי להריץ מודל במשקל 13.3 גיגהבייט בדיוק float16 צריך כרטיס מסך עם לפחות 16 עד 24 גיגהבייט זיכרון רק כדי לטעון אותו, ועוד זיכרון ייעודי אם מתכננים לנצל חלון הקשר מלא של מעל שלושים אלף טוקנים. ההרצה נעשית ישירות דרך ספריית sentence-transformers או transformers הרגילה.

אם כל מה שאתם צריכים זה לחפש משפטים בודדים או קטעים קצרים, להחזיק שרת כזה באוויר זה בזבוז משאבים מוחלט. עדיף לפנות ל־API מסחרי או לרדת למודלים קטנים בהרבה, אלא אם כן אתם מחויבים לפרטיות מוחלטת של המידע ובאמת מעבדים מסמכים שלמים במכה.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("Salesforce/SFR-Embedding-Mistral")
v = m.encode(["שלום עולם"])

הקבצים

18 קבצים במאגר, 13.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00003.safetensors5.0 GB
• model-00001-of-00003.safetensors4.9 GB
• model-00003-of-00003.safetensors4.3 GB
• lora/adapter_model.safetensors42.0 MB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• README.md86.2 KB
• model.safetensors.index.json22.2 KB
• .DS_Store6.1 KB
• .gitattributes1.5 KB
• tokenizer_config.json981 B
• lora/adapter_config.json668 B
• config.json663 B
• special_tokens_map.json624 B
• 1_Pooling/config.json271 B
• modules.json229 B
• config_sentence_transformers.json123 B
• sentence_bert_config.json54 B

הרישיון

הרישיון כאן הוא cc-by-nc-4.0. המשמעות פשוטה וחד משמעית: מותר להשתמש בו למחקר, ניסויים ופיתוח פנימי, אבל אסור לשלב אותו בשום מוצר מסחרי, שירות בתשלום או פעילות עסקית שמניבה הכנסה.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗