ko-sroberta-multitask

מה זה

מדובר במודל שממיר טקסט קוריאני לווקטורים צפופים באורך 768 ממדים, ומבוסס על ארכיטקטורת רוברטה עם 111 מיליון פרמטרים ו־12 שכבות. הוא אומן בריבוי משימות על מאגרי הנתונים KorNLI ו־KorSTS, שנועדו להבנת שפה טבעית בקוריאנית, באמצעות פונקציות מחיר של דירוג שליליות ודמיון קוסינוס.

במבחני KorSTS הוא מציג מתאם ספירמן של 85.60 ומתאם פירסון של 84.77 במרחב קוסינוס. המספרים האלה מראים שהוא יודע לזהות היטב קרבה סמנטית בין משפטים שונים בקוריאנית, ולא רק התאמת מילים יבשה, מה שהופך אותו לרלוונטי למיון טקסטים ולהשוואת משפטים ברמת דיוק סבירה למדי לגודלו.

מתאים ל

• חיפוש סמנטי בקוריאנית

  הוא מאתר משפטים קרובים במשמעותם בקוריאנית באמצעות וקטורים של 768 ממדים.

• קלאסטרינג של משפטים קצרים

  הוא קובץ טקסטים קוריאניים לקבוצות נושאיות על בסיס דמיון סמנטי שנמדד במרחב קוסינוס.

• זיהוי כפילויות תוכן

  הוא משווה בין זוגות משפטים בקוריאנית כדי לזהות ניסוחים שונים עם אותה משמעות.

איפה זה נופל

הוא מוגבל אך ורק לשפה הקוריאנית. אם תנסו להעביר לו עברית, אנגלית או שילוב של שפות, תקבלו תוצאות חסרות משמעות. מעבר לזה, למרות שחלון ההקשר מוגדר טכנית ל־514 טוקנים, שכבת הטרנספורמר הוגדרה בזמן האימון לאורך מקסימלי של 128 טוקנים בלבד. טקסטים ארוכים או פסקאות מורכבות פשוט ייחתכו בהתחלה.

איך מריצים

טוענים אותו ישירות דרך ספריית sentence-transformers עם קריאה פשוטה לשם המודל, או ישירות דרך transformers של HuggingFace בשילוב שכבת pooling ממוצעת. הקבצים שוקלים 2.4 גיגה בייט בדיוק של float32, כך שכל מעבד מודרני ממוצע יכול להריץ אותו בלי לחכות לכרטיס מסך ייעודי.

אם אתם צריכים לאנדקס כמויות אדירות של משפטים בזמן קצר, כרטיס מסך בסיסי יאיץ את העסק משמעותית. אם אתם צריכים רק שאילתות בודדות פה ושם, שרת פשוט ללא מאיץ גרפי יעשה את העבודה, ואין סיבה אמיתית לפנות לשירות ענן חיצוני.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("jhgan/ko-sroberta-multitask")
v = m.encode(["שלום עולם"])

הקבצים

21 קבצים במאגר, 2.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• tf_model.h5442.7 MB
• pytorch_model.bin442.6 MB
• model.safetensors442.5 MB
• onnx/model.onnx440.4 MB
• openvino/openvino_model.bin440.1 MB
• onnx/model_O4.onnx220.2 MB
• onnx/model_qint8_avx512_vnni.onnx111.3 MB
• tokenizer.json495.0 KB
• openvino/openvino_model.xml367.6 KB
• vocab.txt248.5 KB
• README.md4.9 KB
• .gitattributes1.2 KB
• eval/similarity_evaluation_sts-dev_results.csv931 B
• config.json744 B
• tokenizer_config.json585 B
• similarity_evaluation_sts-test_results.csv302 B
• modules.json229 B
• 1_Pooling/config.json190 B
• special_tokens_map.json156 B
• config_sentence_transformers.json123 B
• sentence_bert_config.json53 B

הרישיון

היוצר לא דיווח על רישיון שימוש בעמוד המודל. מבחינה משפטית, היעדר רישיון אומר שאין לכם הרשאה מפורשת להשתמש בו במוצר מסחרי, ומוטב לבדוק את מקורות הדאטהסטים KorNLI ו־KorSTS לפני שמשלבים אותו במערכת פעילה.

הרישיון המלא בעמוד המודל ↗