bge-en-icl

מה זה

במקום להשתמש בעוד ארכיטקטורת אנקודר קטנה וקלאסית, BAAI לקחו את MistralModel עם 7.1 מיליארד פרמטרים והסבו אותו להפקת וקטורים. המודל תומך בחלון הקשר של 32,768 טוקנים, מה שמאפשר להכניס מסמכים שלמים בלי לחתוך אותם לחתיכות קטנות מדי.

במבחני MTEB הוא מפגין ביצועים חזקים מאוד בסיווג כוונות ורגשות, למשל מעל 98 נקודות בדיוק על MTOPDomain ומעל 96 נקודות בסיווג פולאריות של אמזון. באחזור מידע התמונה מעורבת יותר, הוא מוציא מעל 92 נקודות ב־FEVER ומעל 90 ב־QuoraRetrieval, אבל מתקשה הרבה יותר בדאטהסטים טכניים ורפואיים מורכבים כמו NFCorpus שבו הוא עומד על 41.8 נקודות בלבד.

מתאים ל

• סיווג טקסטים ארוכים

  הוא מגיע לדיוק של 98% בסיווגים מסוימים ומסוגל לקרוא מסמך מלא עד 32 אלף טוקנים.

• אחזור עובדות ושאלות תשובות

  הוא מציג תוצאות גבוהות של מעל 92 נקודות ב־FEVER ומעל 85 ב־HotpotQA באנגלית.

• זיהוי כוונות משתמש

  התוצאות שלו ב־MTOPIntent עומדות על 94% דיוק, מה שמתאים למיפוי בקשות מורכבות.

איפה זה נופל

החיסרון הכבד ביותר הוא המשקל והאיטיות. 7.1 מיליארד פרמטרים בשביל הפקת וקטורים מייצרים צוואר בקבוק רציני בזמני תגובה, והוא דורש משאבים שרוב המפתחים לא צריכים עבור משימות דמיון פשוטות.

בנוסף, הכרטיס מציג ציונים נמוכים במיוחד במשימות דירוג מחדש, כמו 30.59 בלבד ב־MindSmall, ותוצאות בינוניות באשכול נתונים מדעיים סביב 45 עד 54 נקודות. המודל מתמקד באנגלית בלבד, כך שאם אתם עובדים עם עברית או שפות אחרות, אין מה לחפש כאן.

איך מריצים

כדי להריץ אותו משתמשים בספריית sentence-transformers או ישירות ב־transformers. הקבצים מגיעים בדיוק float32 ותופסים 26.5 גיגהבייט ב־17 קבצים, מה שאומר שכדי לטעון אותו לזיכרון תצטרכו כרטיס מסך של 32 גיגהבייט זיכרון גרפי לפחות, או 48 גיגהבייט ומעלה אם תרצו לרוץ בקצב נורמלי עם באצ'ים וחלון הקשר מלא.

אם אין לכם שרת ייעודי עם חומרה ברמה הזו, לא הייתי מנסה לתחזק אותו לבד. עבור רוב הצרכים, קריאה ל־API חיצוני תהיה זולה ופשוטה משמעותית מאשר להחזיק שרת יקר שיעמוד רוב הזמן במנוחה.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("BAAI/bge-en-icl")
v = m.encode(["שלום עולם"])

הקבצים

17 קבצים במאגר, 26.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00003.safetensors10.0 GB
• model-00001-of-00003.safetensors9.9 GB
• model-00003-of-00003.safetensors8.6 GB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• results/BEIR.png90.2 KB
• README.md68.1 KB
• results/MTEB.png65.9 KB
• model.safetensors.index.json22.2 KB
• tokenizer_config.json1.5 KB
• .gitattributes1.5 KB
• special_tokens_map.json640 B
• config.json625 B
• 1_Pooling/config.json289 B
• modules.json229 B
• added_tokens.json69 B
• sentence_bert_config.json55 B

הרישיון

המודל משוחרר תחת רישיון apache-2.0. הרישיון מאפשר שימוש מסחרי, שינוי של הקוד והמשקולות והפצה שלהם בתוך מוצרים, כל עוד שומרים על הודעת זכויות היוצרים וההצהרה המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗