LaBSE

מה זה

מדובר בהמרה ל־PyTorch של המודל המקורי מגוגל, המבוסס על ארכיטקטורת BERT עם 12 שכבות וכמעט 471 מיליון פרמטרים. הרעיון כאן הוא לקחת טקסטים ביותר ממאה שפות שונות ולייצר עבורם ייצוג וקטורי בגודל 768 ממדים, כך שמשפטים בעלי משמעות זהה בשפות שונות ישבו קרוב מאוד זה לזה במרחב.

בשונה ממודלים רגילים שמיועדים לשפה אחת או לשפות בודדות, הכוח שלו מתרכז בחיבור חוצה שפות. אם יש לכם צורך להשוות בין מקור בשפה אחת לתרגום בשפה אחרת בלי לתרגם קודם, הוא עושה בדיוק את זה. מצד שני, המודל הזה פורסם במקור ב־2022 והוא מוגבל למשפטים קצרים יחסית, כך שהוא מתמקד נטו בסמנטיקה חוצת שפות ברמת המשפט.

מתאים ל

• חיפוש חוצה שפות

  התאמת שאילתות בשפה אחת למסמכים ומאגרים בשפה אחרת ללא תרגום מקדים.

• סינון ותרגום מקבילי

  זיהוי משפטים מקבילים מתוך קורפוסים גדולים ברשת עבור אימון מכונות תרגום.

• מניעת כפילויות רב לשונית

  איתור שאלות זהות שנשאלו במערכות תמיכה בשפות שונות לגמרי.

איפה זה נופל

חלון הטקסט בפועל מוגדר ל־256 טוקנים בלבד לפי הגדרות המודל, למרות תמיכה תיאורטית של עד 512 טוקנים. זה אומר שהוא לא מתאים למסמכים ארוכים, לפסקאות מורכבות או למאמרים. אם תנסו להכניס טקסט ארוך, הוא פשוט ייחתך וייאבד מידע. בנוסף, מדובר במודל ישן משנת 2022 שלא כולל שיפורים ארכיטקטוניים מודרניים.

איך מריצים

המודל שוקל כ־8.8 גיגה בייט ומחולק ל־19 קבצים, כך שזה לא קובץ קליל שזורקים לכל מכונה בלי לחשוב. טוענים אותו ישירות דרך ספריית sentence-transformers בפייתון באמצעות פקודת קידוד פשוטה, אבל כדי לקבל ביצועים סבירים בזמן ריצה כדאי להחזיק כרטיס מסך עם לפחות 12 גיגה זיכרון.

אם יש לכם שרת ייעודי שצריך לאנדקס טקסטים בשפות שונות ברקע, אפשר להריץ אותו מקומית. אם מדובר במערכת קטנה שרק בודקת פניות מדי פעם, עדיף להשתמש בשירות מנוהל כדי לא לשלם על שרת כבד רק בשביל להחזיק אותו בזיכרון.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("sentence-transformers/LaBSE")
v = m.encode(["שלום עולם"])

הקבצים

19 קבצים במאגר, 8.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• tf_model.h51.9 GB
• pytorch_model.bin1.9 GB
• model.safetensors1.9 GB
• flax_model.msgpack1.9 GB
• onnx/model.onnx1.9 GB
• tokenizer.json9.6 MB
• vocab.txt5.2 MB
• 2_Dense/pytorch_model.bin2.4 MB
• 2_Dense/model.safetensors2.4 MB
• README.md2.0 KB
• config.json804 B
• modules.json461 B
• .gitattributes445 B
• tokenizer_config.json397 B
• 1_Pooling/config.json190 B
• config_sentence_transformers.json122 B
• 2_Dense/config.json114 B
• special_tokens_map.json112 B
• sentence_bert_config.json53 B

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו ולשלב אותו בתוך מוצרים סגורים בלי לשלם תמלוגים. התנאי היחיד הוא לשמור על הודעות זכויות היוצרים והרישיון המקורי בקוד או בתוכנה שאתם מפיצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗