bce-embedding-base_v1

מה זה

המודל הזה נבנה בידי NetEase Youdao סביב ארכיטקטורת XLM-RoBERTa עם 279 מיליון פרמטרים, במטרה לפתור בעיה מציקה במיוחד, גישור סמנטי ישיר בין אנגלית לסינית בלי להסתמך על תרגום מקדים. הוא מייצר וקטורים שמייצגים את הטקסט ישירות, ומיועד להשתלב בשלב הריקול הראשוני של צנרות RAG לפני מודל דירוג מחדש.

בניגוד לחלק ממודלי השיכוך המודרניים שמחייבים ניסוח הוראות ייעודיות לכל שאילתה, כאן מעבירים את הטקסט כמו שהוא. במבחני MTEB ו־LlamaIndex שהיצרן מציג, המודל השיג תוצאות גבוהות במדדי Hit Rate ו־MRR בהשוואה למודלים מקבילים בגודל base, מה שאומר שבפועל הוא מצליח להביא את הפסקה הנכונה לחמישייה או לעשירייה הראשונה בתדירות גבוהה יותר.

מתאים ל

• חיפוש RAG בין אנגלית לסינית

  מאפשר לשלוף מסמכים טכניים בסינית באמצעות שאילתות באנגלית ובחזרה.

• שלב שליפה ראשוני בצינור RAG

  דולה במהירות בין 50 ל־100 קטעים ראשוניים עבור מודל דירוג המשך.

• קטלוג שאלות נפוצות דו־לשוני

  מזהה כוונת משתמש באנגלית מול מאגר תשובות קיים בסינית בלי הוראות.

איפה זה נופל

חלון ההקשר עומד על 514 טוקנים בלבד. אי אפשר לזרוק עליו מסמכים ארוכים, ספרים או חוזים בלי לחתוך אותם לפסקאות קטנות מראש, ומי שינסה לעשות את זה יאבד מידע מהותי. מעבר לזה, המודל מאומן ותומך רשמית באנגלית ובסינית בלבד. אם תנסו להזין לו טקסטים בעברית, אין שום ערובה לתוצאות סבירות, וסביר להניח שהייצוג הסמנטי יישבר לחלוטין. הוא דורש גם התאמה ידנית של מנגנון האיגום לשכבת ה־CLS אם לא משתמשים בעטיפה המוכנה.

איך מריצים

המשקל הכולל של הקבצים עומד על 1.1 גיגהבייט בדיוק של float32, כך שאין צורך במפלצת חומרה. כרטיס מסך בסיסי עם 4 עד 6 גיגהבייט זיכרון יספיק בהחלט להרצה מקומית, ואפשר אפילו להריץ אותו על מעבד רגיל במחיר של זמני תגובה ארוכים יותר.

ההטמעה פשוטה מאוד ועוברת דרך ספריית sentence-transformers או ישירות עם transformers של Hugging Face, כשהצימוד הקלאסי בפייתון מנרמל את הווקטורים ביציאה. מומלץ להריץ אותו באופן עצמאי בשרת שלכם אם אתם כבר מחזיקים שרת ייעודי, אבל אם התעבורה שלכם נמוכה ומקוטעת, ניהול שרת בשביל מודל של גיגהבייט בודד עלול להיות בזבוז זמן מיותר לעומת שירות מנוהל.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("maidalun1020/bce-embedding-base_v1")
v = m.encode(["שלום עולם"])

הקבצים

14 קבצים במאגר, 1.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin1.1 GB
• tokenizer.json17.1 MB
• sentencepiece.bpe.model5.1 MB
• assets/rag_eval_multiple_domains_summary.jpg2.0 MB
• assets/Wechat.jpg180.0 KB
• README.md36.5 KB
• .gitattributes1.7 KB
• tokenizer_config.json1.2 KB
• config.json741 B
• modules.json349 B
• special_tokens_map.json280 B
• 1_Pooling/config.json190 B
• config_sentence_transformers.json117 B
• sentence_bert_config.json53 B

הרישיון

הרישיון הוא Apache 2.0 מלא. אפשר להשתמש בו בחופשיות לפרויקטים מסחריים, לשנות את הקוד ולהפיץ אותו בתוך המוצר שלכם. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי, בלי תמלוגים ובלי מגבלות על קוד סגור.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗