bge-large-zh

מה זה

המודל פותח על ידי BAAI כדי לתרגם טקסטים בסינית לווקטורים בגודל 1024 ממדים. הוא בנוי על ארכיטקטורת BERT עם עשרים וארבע שכבות, ונועד לתמוך במשימות כמו אחזור מידע, סיווג וחיפוש סמנטי עבור מסדי נתונים וקטוריים. בזמן יציאתו הוא דורג במקום הראשון במבחן הביצועים C-MTEB עם ציון ממוצע של 64.20, ועקף מודלים כמו multilingual-e5 ומודלים מסחריים כמו text-embedding-ada-002 של OpenAI במשימות אלה.

המבנה שלו דורש הוספת הוראה מובנית לכל שאילתת חיפוש קצרה כדי להגיע לדיוק מרבי באחזור מסמכים ארוכים. המפתחים עצמם מבהירים בתיעוד שקיימת גרסה חדשה יותר, v1.5, שמתקנת בעיות בהתפלגות הציונים ומאפשרת עבודה יעילה גם בלי להוסיף את מחרוזת ההוראה.

מתאים ל

• חיפוש סמנטי במסמכים בסינית

  הוא מציג ציון של 71.53 באחזור מידע במבחן C-MTEB, מה שמבטיח שליפה מדויקת של פסקאות.

• אינדוקס מסדי נתונים ל־LLM

  מייצר וקטורים צפופים שמאפשרים לשלוף הקשר רלוונטי עבור מודלי שפה שעובדים מול מאגרים בסינית.

• סיווג וקיבוץ טקסטים

  הווקטורים מתאימים לחלוקת מסמכים לקטגוריות ולמדידת דמיון סמנטי בין תכנים שונים.

איפה זה נופל

הבעיה הבולטת ביותר בגרסה הזו היא התפלגות ציוני הדמיון. המפתחים מודים שהאימון יצר מצב שבו רוב הציונים נדחסים לטווח שבין 0.6 לבין 1, כך שציון מעל 0.5 לא אומר שהמשפטים באמת דומים. אי אפשר לקבוע סף קבוע מראש בלי לבדוק את ההתפלגות על המידע הספציפי שלכם.

בנוסף, המודל מוגבל לחלון של 512 טוקנים, מה שדורש חיתוך אגרסיבי של טקסטים ארוכים. הוא מיועד לסינית בלבד ולא יתאים למי שמחפש פתרון רב-לשוני הכולל עברית או אנגלית.

אותה משפחה

bge-large-zh יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המודל שוקל 2.4 גיגהבייט ודורש מעבד גרפי פשוט יחסית כדי לפעול בזמני תגובה טובים. אפשר לטעון אותו ישירות דרך ספריית transformers, sentence-transformers או החבילה הייעודית FlagEmbedding, שמשתמשת כברירת מחדל בכל כרטיסי המסך הזמינים בסביבה.

אם אתם צריכים רק חיפוש נקודתי או שאין לכם תשתית עם מעבד גרפי זמין, שימוש בממשקי ענן של חברות אחרות יחסוך את כאב הראש התפעולי. מנגד, מי שמחזיק שרת ייעודי ויכול להריץ אותו מקומית יקבל שליטה מלאה על הנתונים בלי לשלם לפי קריאה.

from transformers import pipeline

pipe = pipeline("feature-extraction", model="BAAI/bge-large-zh")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 2.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin1.3 GB
• model.safetensors1.3 GB
• tokenizer.json439.1 KB
• vocab.txt109.5 KB
• README.md27.9 KB
• .gitattributes1.5 KB
• config.json941 B
• tokenizer_config.json366 B
• modules.json349 B
• 1_Pooling/config.json191 B
• special_tokens_map.json125 B
• config_sentence_transformers.json124 B
• sentence_bert_config.json52 B

הרישיון

הפרויקט מופץ תחת רישיון MIT. מדובר ברישיון קוד פתוח מתירני מאוד, שמאפשר שימוש מסחרי, שינוי של הקוד ושילוב שלו במוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗