bge-small-en

מה זה

מדובר במודל מבוסס ארכיטקטורת ברט שפותח על ידי BAAI ומיועד לייצר וקטורים מטקסט באנגלית. עם 33 מיליון פרמטרים בלבד, הוא מכוון ישירות למשימות קלאסיות של אחזור מידע, סיווג ודירוג מחדש. המשקל שלו זעיר לעומת מודלים גנרטיביים מודרניים, ולכן הוא זז מהר מאוד בתוך זיכרון העבודה.

במדד MTEB הוא מציג תוצאות מעורבות שתלויות בסוג הטקסט. בסיווג פשוט כמו קוטביות ביקורות באמזון הוא מגיע לדיוק של מעל 93 אחוז, אבל במשימות מורכבות יותר כמו זיהוי סנטימנט רב שכבתי הוא צונח לאזור 46 אחוז דיוק. באחזור מידע טכני מבוסס שאלות ותשובות, הדיוק שלו בתוצאה הראשונה עומד לרוב סביב 25 עד 35 אחוז, מה שאומר שהוא מסתמך על כך שתשמרו עשר תוצאות ראשונות לפחות כדי לתפוס את התשובה הנכונה.

מתאים ל

• חיפוש מסמכים פנימי

  מנוע אחזור לשאלות ותשובות באנגלית, כשרוצים לסנן עשרות פסקאות בשברירי שנייה על גבי מעבד רגיל.

• סיווג טקסט מהיר

  זיהוי כוונות משתמש או ניתוח סנטימנט בינארי, שם הוא מגיע ליותר מ־90 אחוזי דיוק באפס משאבים.

• סינון ראשוני למערכות RAG

  שליפת עשרים התוצאות הרלוונטיות ביותר מתוך מאגר גדול, לפני העברה למודל שפה כבד ויקר.

איפה זה נופל

הוא מוגבל לטקסט באנגלית בלבד, ולכן חיפוש סמנטי או סיווג בעברית לא יעבדו פה. חלון ההקשר עומד על 512 טוקנים, מה שפוסל ניתוח מסמכים ארוכים ללא פירוק מוקדם לפסקאות. במבחני אחזור מורכבים במיוחד, כמו שאלות מתמטיות בפורומים טכניים, הדיוק שלו בתוצאה הראשונה נופל מתחת ל־20 אחוז, כך שהוא דורש שלב דירוג מחדש כדי לתת תוצאות טובות באמת.

אותה משפחה

bge-small-en יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

טוענים אותו ישירות דרך ספריית טרנספורמרס בקוד פייתון. קבצי המודל תופסים בסך הכול 256 מגה בייט, כך שכל מעבד ביתי או שרת פשוט ללא מעבד גרפי יריץ אותו בקלות וללא זמני טעינה מורגשים.

אין שום הצדקה כלכלית לשלם על API חיצוני כשמריצים מודל בנפח כזה. הרצה מקומית תיתן זמני תגובה אפסיים בעלות שרת אפסית, אלא אם הפרויקט מחייב שימוש ברוחב פס זעיר במיוחד בצד הלקוח.

from transformers import pipeline

pipe = pipeline("feature-extraction", model="BAAI/bge-small-en")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 256 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin133.5 MB
• model.safetensors133.5 MB
• tokenizer.json711.4 KB
• vocab.txt231.5 KB
• README.md90.8 KB
• .gitattributes1.5 KB
• config.json684 B
• tokenizer_config.json366 B
• modules.json349 B
• 1_Pooling/config.json190 B
• special_tokens_map.json125 B
• config_sentence_transformers.json124 B
• sentence_bert_config.json52 B

הרישיון

הרישיון הוא MIT. מותר להשתמש בו למוצרים מסחריים, לשנות אותו, להפיץ אותו מחדש ולשלב אותו בקוד סגור, בתנאי ששומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗