LaBSE-en-ru

מה זה

המודל המקורי של גוגל ידע לטפל בלמעלה ממאה שפות, אבל רוב מי שצריך לחבר בין רוסית לאנגלית סוחב סתם משקל עודף של מילון ענק. היוצר cointegrated לקח את המודל המקורי, זרק תשעים אחוז מהטוקנים במילון והשאיר רק אנגלית ורוסית. התוצאה היא 129 מיליון פרמטרים בלבד, שזה בערך עשרים ושבעה אחוזים מהגודל המקורי, בלי לאבד דיוק בשפות האלה לפי מה שדווח בכרטיס.

הוא מיועד למשימות של חילוץ וקטורים, מה שאומר שמקבלים ממנו ייצוג מספרי לכל משפט כדי לבדוק דמיון סמנטי או למיין טקסטים. אם אתם עובדים עם שפות אחרות, למשל עברית, אין לכם מה לחפש כאן כי הוא פשוט לא מכיר אותן.

מתאים ל

• השוואת משפטים באנגלית ורוסית

  מייצר וקטורים מדויקים בשתי השפות ומאפשר למצוא תרגומים דומים בלי לסחוב מודל ענק.

• חיפוש סמנטי בשרת מקומי זול

  הוא שוקל 1.6 גיגה בלבד, כך שאפשר להריץ חיפוש על בסיס נתונים קטן גם בלי כרטיס מסך.

• סיווג טקסטים קצרים

  מחלץ ייצוגים יציבים של משפטים עד 512 טוקנים כדי להזין אותם למסווג פשוט.

איפה זה נופל

החיסרון המרכזי פה מוחלט, המודל יודע רק אנגלית ורוסית. אם תזינו לו עברית, שפה אירופית אחרת או אפילו מונחים טכניים שלא נכנסו למילון המקוצץ, הוא ישבור את הטקסט לחתיכות חסרות משמעות והאיכות תתרסק. בנוסף, חלון ההקשר מוגבל ל־512 טוקנים, כך שהוא מתאים למשפטים או פסקאות קצרות ולא למסמכים שלמים.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־1.6 גיגה בייט, ובזכות 129 מיליון פרמטרים בלבד אפשר להריץ אותו בלי בעיה על מעבד רגיל של לפטופ או שרת זול, אפילו בלי כרטיס מסך ייעודי. טוענים אותו ישירות דרך ספריית transformers בפייתון עם פקודות בסיסיות, מעבירים טקסט ומנרמלים את הפלט.

בגודל הזה אין שום סיבה לשלם ל־API חיצוני על קריאות וקטורים. הוא רץ מהר מקומית, צורך מעט זיכרון עבודה, וחוסך את התלות ברשת או בשירות צד שלישי.

from transformers import pipeline

pipe = pipeline("feature-extraction", model="cointegrated/LaBSE-en-ru")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 1.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• tf_model.h5687.1 MB
• pytorch_model.bin516.1 MB
• model.safetensors516.0 MB
• 2_Dense/pytorch_model.bin2.4 MB
• vocab.txt521.4 KB
• README.md1.7 KB
• config.json806 B
• .gitattributes744 B
• modules.json461 B
• 1_Pooling/config.json190 B
• 2_Dense/config.json114 B
• special_tokens_map.json112 B
• sentence_bert_config.json53 B
• tokenizer_config.json49 B

הרישיון

הרישיון לא מוגדר ישירות בעמוד המודל, אלא מפנה לרישיון של המודל המקורי של גוגל ב־TF Hub. במצב כזה, מי שבונה מוצר מסחרי צריך לבדוק היטב את תנאי המקור של גוגל ולא להסתמך על שימוש חופשי אוטומטי, כי אין כאן הגדרה משפטית נקייה וסגורה.

הרישיון המלא בעמוד המודל ↗