rubert-tiny2

מה זה

מדובר בגרסה מעודכנת למודל rubert-tiny, שמבוססת על שלוש שכבות בלבד ומכוונת ישירות לשפה הרוסית. המודל מייצר ייצוגים וקטוריים שמקרבים אותו לביצועים של מודלים כבדים כמו LaBSE, אבל בגודל פיזי של 228 מגה-בייט בלבד. המשמעות היא חיסכון עצום בזמני עיבוד על מכונות פשוטות.

בהשוואה לגרסה הקודמת שלו, אוצר המילים הורחב ל־83,828 טוקנים וחלון ההקשר צמח ל־2,048 טוקנים. השיפור הזה מקל על ניתוח פסקאות ומסמכים ארוכים יותר ברוסית, והאימון על משימות NLI נותן לו הבנה טובה יותר של קשרים והקשרים בין מקטעי טקסט שונים.

מתאים ל

• חיפוש סמנטי ברוסית

  התאמת שאילתות חיפוש למסמכים ברוסית בזמן תגובה אפסי ובשרתים רזים.

• סיווג טקסטים קצרים

  שליפת וקטורים להזנה באלגוריתמי סיווג כמו KNN עבור פניות שירות.

• בדיקת דמיון בין משפטים

  זיהוי כפילויות בתוכן רוסי בזכות אימון ייעודי על משימות NLI.

איפה זה נופל

הוא מוגבל לרוסית בלבד ולא מתאים לעברית או לאנגלית. עם שלוש שכבות בלבד, הוא מפספס ניואנסים עמוקים, אירוניה או מבנים לשוניים מורכבים במיוחד. אם המטרה היא יצירת טקסט חדש, הוא לא יעזור כי הוא אנקודר בלבד שמייצר וקטורים.

איך מריצים

אתם טוענים אותו ישירות דרך ספריית sentence-transformers או דרך transformers הרגילה של פייתון בשלוש שורות קוד. עם משקל של 228 מגה-בייט ו־29 מיליון פרמטרים, כל מעבד סטנדרטי בשרת הזול ביותר מריץ אותו בלי להרגיש מאמץ, ואין שום צורך אמיתי בכרטיס מסך ייעודי אלא אם מעבדים מיליוני פניות ברגע.

יש גרסה מותאמת בשם WpythonW/rubert-tiny2-vllm אם רוצים לעבוד עם מנוע vLLM. להקים שרת עצמאי עבור מודל כזה לוקח דקות ספורות, ולכן חבל לשלם לספקי צד שלישי על API חיצוני.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("cointegrated/rubert-tiny2")
v = m.encode(["שלום עולם"])

הקבצים

14 קבצים במאגר, 228 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin117.5 MB
• model.safetensors117.5 MB
• tokenizer.json1.7 MB
• vocab.txt1.1 MB
• tinybert-ru-labse-adapter-v2.pt963.0 KB
• README.md2.4 KB
• .gitattributes1.2 KB
• config.json693 B
• tokenizer_config.json401 B
• modules.json349 B
• 1_Pooling/config.json190 B
• special_tokens_map.json112 B
• sentence_bert_config.json54 B
• .gitignore6 B

הרישיון

רישיון MIT חופשי לחלוטין. אתם יכולים להטמיע אותו במוצר מסחרי, לשנות את המשקלים, לאמן אותו מחדש ולהפיץ אותו חופשי בלי תמלוגים. התנאי היחיד הוא שמירת הקרדיט והודעת הרישיון המקורית בקוד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗