sbert-jsnli-luke-japanese-base-lite

מה זה

מדובר במודל שמבוסס על הארכיטקטורה של LUKE בגרסת הלייט היפנית, ואומן במשך אפוק אחד על דאטה-סט בשם jsnli. התפקיד העיקרי שלו הוא לקחת משפטים או פסקאות ביפנית ולייצר מהם וקטורים צפופים שמשקפים דמיון סמנטי, לצורך חיפוש, חלוקה לקבוצות או השוואת טקסטים.

הייחוד כאן הוא השילוב של בסיס LUKE מכווץ יחסית יחד עם התאמה ספציפית ליפנית דרך ספריית sentence-transformers. הכרטיס מפנה להערכות ביצועים חיצוניות במאגרים JSTS ו־JSICK, כך שאין כאן ציונים מספריים ישירים בעמוד, אבל ברור שהוא כוון ישירות למשימות של דמיון בין משפטים ולא לייצור טקסט.

מתאים ל

• חיפוש סמנטי ביפנית

  ממיר שאילתות ומסמכים קצרים לווקטורים כדי למצוא התאמות לפי משמעות ולא לפי מילות מפתח מדויקות.

• קלאסטרינג של משפטים

  מאפשר לקבץ פניות לקוחות או ביקורות ביפנית לנושאים דומים על בסיס מרחק וקטורי.

• זיהוי כפילויות טקסט

  משווה בין צמדי משפטים ומזהה ניסוחים שונים בעלי אותה משמעות הודות לאימון על jsnli.

איפה זה נופל

הוא מיועד ליפנית בלבד. אם תזרקו עליו עברית או אנגלית תקבלו תוצאות חסרות משמעות, כי הטוקניזציה והאימון כולם סביב השפה היפנית. חלון ההקשר עומד על 514 טוקנים, מה שאומר שהוא מתאים לפסקאות קצרות ולא למסמכים שלמים או חוזים ארוכים.

בנוסף, האימון נמשך אפוק אחד בלבד על דאטה-סט יחיד של NLI. כרטיס המודל לא חושף ציוני דיוק בעמוד עצמו ומפנה לגיטהאב חיצוני, מה שמחייב אתכם לבדוק אותו מול הדאטה שלכם לפני שאתם סומכים על איכות השיבוצים במערכת אמיתית.

איך מריצים

אתם מושכים ומריצים אותו ישירות דרך ספריית sentence-transformers בשלוש שורות פייתון, או עם transformers רגיל אם אתם עושים את הפולינג בעצמכם. עם משקל של 509 מגה-בייט ודיוק float32, הוא קל מאוד ורץ בקלות על כל מעבד מודרני בלי לחייב כרטיס מסך ייעודי בזמן הסקה.

האימון המקורי לקח 40 דקות על A100 בודד בקולאב, כך שמדובר במודל פשוט וזול לתחזוקה עצמאית. אין שום סיבה לשלם ל־API חיצוני על משימות שיבוץ ביפנית בהיקפים רגילים כשאפשר להרים את המשקלים האלה על שרת בסיסי בלי להרגיש אותם כמעט.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("oshizo/sbert-jsnli-luke-japanese-base-lite")
v = m.encode(["שלום עולם"])

הקבצים

13 קבצים במאגר, 509 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin532.4 MB
• sentencepiece.bpe.model841.9 KB
• README.md3.0 KB
• tokenizer_config.json1.9 KB
• .gitattributes1.5 KB
• config.json868 B
• special_tokens_map.json595 B
• modules.json229 B
• 1_Pooling/config.json190 B
• config_sentence_transformers.json124 B
• entity_vocab.json62 B
• sentence_bert_config.json53 B
• added_tokens.json40 B

הרישיון

הוא מופץ תחת רישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להריץ אותו בענן פרטי ולשלב אותו במוצר מסחרי בלי לשלם תמלוגים. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים ועותק הרישיון בקוד או בהפצה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗