ruri-large

מה זה

מדובר במודל מבוסס ארכיטקטורת ברט עם 337 מיליון פרמטרים ו־24 שכבות, שתוכנן ונבנה עבור השפה היפנית בלבד. הוא מייצר וקטורים בגודל 1024 ממדים עבור משימות דמיון טקסטואלי, סיווג ושליפת מידע, תוך שימוש בחישוב דמיון קוסינוס.

במבחני JMTEB המודל מציג ציון ממוצע של 73.31, כשהוא עוקף מודלים רב-לשוניים פופולריים כמו סדרת multilingual-e5 וגם מודלים יפניים ייעודיים קודמים כמו GLuCoSE. במשימות דמיון סמנטי הוא מגיע לציון 83.13, ובשליפה ל־73.02. המשמעות היא הבנה טובה בהרבה של ניואנסים, תחביר ואוצר מילים ביפנית בהשוואה למודלים שלא אומנו ספציפית על השפה הזו.

מתאים ל

• חיפוש סמנטי ביפנית

  שליפת פסקאות מתוך מאגר מסמכים יפני בדיוק גבוה מול שאילתות משתמש.

• סיווג טקסטים קצרים

  חלוקת ביקורות או פניות שירות ביפנית לקטגוריות על בסיס וקטורים איכותיים.

• זיהוי כפילויות תוכן

  מדידת דמיון סמנטי בין צמדי משפטים ביפנית עם דיוק STS של מעל 83 נקודות.

איפה זה נופל

המגבלה הראשונה והברורה היא חוסר תמיכה בכל שפה שאינה יפנית. אם תנסו להעביר לו עברית או אנגלית תקבלו תוצאות גרועות. מעבר לכך, אורך הקלט מוגבל ל־512 טוקנים בלבד, מה שלא מתאים לטקסטים ארוכים או מסמכים שלמים בלי חלוקה מוקדמת לפסקאות. החיסרון הבולט ביותר מגיע דווקא מהיוצרים עצמם, שממליצים לעבור לסדרת v3 החדשה שלהם, שכוללת חלון הקשר של 8192 טוקנים וציונים גבוהים יותר.

איך מריצים

ההרצה פשוטה מאוד ומתבצעת דרך ספריית sentence-transformers, לצד חבילות ספציפיות ליפנית כמו fugashi, sentencepiece ו־unidic-lite לטוקניזציה. קבצי המודל שוקלים 644 מגה-בייט בלבד, ובדיוק bfloat16 הוא צורך מעט מאוד זיכרון, כך שכרטיס מסך בסיסי או מעבד מודרני בשרת ענן זול יספיקו בהחלט.

אם אתם לא רוצים לנהל סביבת פייתון ייעודית עם תלויות טוקניזציה מורכבות ליפנית, עדיף להשתמש ב־API מנוהל חיצוני. עם זאת, בזכות המשקל הקל, הרצה מקומית תחסוך עלויות שוטפות משמעותיות בלי צורך בחומרה יקרה.

pip install -U huggingface_hub
hf download cl-nagoya/ruri-large

הקבצים

45 קבצים במאגר, 644 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors674.9 MB
• vocab.txt231.0 KB
• README.md6.0 KB
• result/Retrieval/scores_mrtydi.json1.6 KB
• result/Retrieval/scores_jagovfaqs_22k.json1.6 KB
• result/Retrieval/scores_jaqket.json1.6 KB
• .gitattributes1.5 KB
• result/summary.json1.5 KB
• result/PairClassification/scores_paws_x_ja.json1.5 KB
• result/Retrieval/scores_nlp_journal_abs_intro.json1.4 KB
• result/Retrieval/scores_nlp_journal_title_intro.json1.4 KB
• result/Retrieval/scores_nlp_journal_title_abs.json1.4 KB
• tokenizer_config.json1.4 KB
• result/Clustering/scores_mewsc16.json1.3 KB
• result/Clustering/scores_livedoor_news.json1.3 KB
• result/Reranking/scores_esci.json972 B
• result/STS/scores_jsts.json938 B
• result/STS/scores_jsick.json935 B
• jmteb_config/tasks/nlp_journal_title_intro.jsonnet848 B
• jmteb_config/tasks/amazon_counterfactual_classification.jsonnet841 B
• jmteb_config/tasks/nlp_journal_title_abs.jsonnet840 B
• jmteb_config/tasks/nlp_journal_abs_intro.jsonnet837 B
• jmteb_config/jmteb.jsonnet822 B
• jmteb_config/tasks/massive_scenario_classification.jsonnet821 B
• jmteb_config/tasks/massive_intent_classification.jsonnet813 B
• jmteb_config/tasks/amazon_review_classification.jsonnet809 B
• jmteb_config/tasks/jagovfaqs_22k.jsonnet808 B
• jmteb_config/tasks/jaqket.jsonnet780 B
• jmteb_config/tasks/mrtydi.jsonnet780 B
• jmteb_config/tasks/esci.jsonnet772 B
• special_tokens_map.json695 B
• config.json631 B
• result/Classification/scores_amazon_counterfactual_classification.json618 B
• result/Classification/scores_massive_scenario_classification.json618 B
• result/Classification/scores_massive_intent_classification.json617 B
• jmteb_config/tasks/paws_x_ja.jsonnet590 B
• result/Classification/scores_amazon_review_classification.json584 B
• jmteb_config/tasks/jsick.jsonnet533 B
• jmteb_config/tasks/livedoor_news.jsonnet529 B
• jmteb_config/tasks/jsts.jsonnet525 B

הרישיון

רישיון אפאצ'י 2.0 מתיר שימוש מסחרי מלא, שינוי של המשקלים, שילוב בקוד סגור והפצה במוצר שלכם. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים וציון הרישיון המקורי, בלי חובת פתיחת קוד המוצר שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗