bge-base-en

מה זה

מדובר במודל מבוסס ארכיטקטורת ברט עם 12 שכבות שממיר טקסט באנגלית לוקטורים עבור שליפת מידע והשוואת משמעות. עם כמעט 110 מיליון פרמטרים, הוא מתחרה ישירות במודלים קלים שרצים מקומית ואינם דורשים תשתיות ענק.

במבחני MTEB הוא מפגין ביצועים מעורבים שתלויים לחלוטין באופי המשימה. בסיווג רגש פשוט הוא מגיע לדיוק של 92.5%, אבל בסיווג מורכב יותר כמו ביקורות מדורגות הוא צונח ל־46.9%. באחזור מידע טכני, למשל במאגרי שאלות של מתכנתים או נושאים מדעיים, מדדי הדיוק הראשוני נעים לרוב בין 20 ל־35 אחוזים, כך שתצטרכו לקחת בחשבון שכבת דירוג נוספת אם הדיוק הקריטי חשוב לכם.

מתאים ל

• חיפוש סמנטי פנימי

  אידיאלי לאחזור מסמכים קצרים ותיעוד טכני באנגלית מתוך מאגר מקומי במהירות גבוהה.

• סיווג כוונות משתמש

  משיג תוצאה של מעל 86% דיוק במאגר בנקאי ומאפשר ניתוב פניות משתמשים בזמן אמת.

• סינון שאלות כפולות

  מציג מדד דירוג גבוה מעל 74% בזיהוי שאלות דומות בפורומים טכניים.

איפה זה נופל

הוא לא יודע עברית. המודל אומן על אנגלית בלבד, וכל ניסיון להזין לו טקסט מקומי יחזיר וקטורים חסרי משמעות. חלון ההקשר מוגבל ל־512 טוקנים, ולכן פסקאות ארוכות מדי ייחתכו או ידרשו פירוק מוקדם ומסורבל לחלקים קטנים.

מבחני הביצועים מראים גם חולשה בטקסטים מתמטיים ומדעיים כבדים, שבהם מדדי האחזור נמוכים משמעותית. אם המוצר שלכם מנתח מאמרים אקדמיים עמוקים, שווה לבדוק מודל ייעודי לתחום.

אותה משפחה

bge-base-en יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

במשקל של 1.2 גיגה־בייט הוא נטען בקלות דרך ספריית טרנספורמרס ורץ בנוחות על מעבד רגיל של שרת פשוט, אפילו בלי כרטיס מסך ייעודי. אם אתם מעבדים נפחי טקסט גדולים בזמן אמת, כרטיס מסך בסיסי עם 4 עד 8 גיגה זיכרון יספיק לחלוטין כדי לקבל זמני תגובה של מילישניות בודדות.

בממדים האלה אין שום סיבה אמיתית לשלם לספקי ענן על קריאות שרת חיצוניות. ההרצה העצמית פשוטה, זולה, ושומרת את המידע הרגיש בתוך הרשת המקומית שלכם.

from transformers import pipeline

pipe = pipeline("feature-extraction", model="BAAI/bge-base-en")
print(pipe("שלום"))

הקבצים

19 קבצים במאגר, 1.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin438.0 MB
• model.safetensors438.0 MB
• onnx/model.onnx435.8 MB
• onnx/tokenizer.json711.4 KB
• tokenizer.json711.4 KB
• onnx/vocab.txt231.5 KB
• vocab.txt231.5 KB
• README.md90.1 KB
• .gitattributes1.5 KB
• onnx/tokenizer_config.json1.2 KB
• config.json719 B
• onnx/config.json707 B
• onnx/special_tokens_map.json695 B
• tokenizer_config.json366 B
• modules.json349 B
• 1_Pooling/config.json190 B
• special_tokens_map.json125 B
• config_sentence_transformers.json124 B
• sentence_bert_config.json52 B

הרישיון

רישיון MIT פתוח ומתירני לחלוטין. מותר להשתמש בו ליישומים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי בקבצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗