KoE5

מה זה

מדובר במודל וקטורי בגודל 560 מיליון פרמטרים שנבנה על בסיס multilingual-e5-large ועבר אימון ייעודי על דאטה־סט קוריאני של מעל 700 אלף שלשות טקסט. הוא מייצר וקטורים באורך 1024 ממדים ומיועד בעיקר לחיפוש סמנטי והתאמת שאלות לתשובות בקוריאנית ובאנגלית.

במבחני ביצועים מול מודלים אחרים בגודל דומה הוא מציג דיוק סביר עם ציון Recall של 0.501 בבחירה הראשונה, אבל נשאר כמעט זהה למודל המקורי שעליו הוא מתבסס. באותם מבחנים, גרסאות חזקות יותר כמו KURE-v1 או BGE-m3 מובילות עליו בפער ניכר בכל מדדי האחזור, כך שההתאמה כאן נותנת יתרון קטן מאוד אם בכלל.

מתאים ל

• חיפוש סמנטי בקוריאנית

  שליפת פסקאות רלוונטיות לפי שאלת משתמש, בתנאי שהשאילתה והמסמכים קצרים יחסית.

• מערכות RAG ממוקדות

  שלב ראשון של איתור קטעי מידע מתוך מאגר מסמכים קוריאני עבור מודל שפה.

• סיווג וקיבוץ טקסטים

  יצירת ייצוגים וקטוריים של פסקאות כדי לבצע אשכולות וזיהוי נושאים.

איפה זה נופל

חלון ההקשר מוגבל ל־514 טוקנים בלבד, וטקסטים ארוכים מזה נחתכים מיד. המודל לא מתאים למסמכים מלאים אלא לפסקאות קצרות. בנוסף, חובה להוסיף תחיליות ספציפיות כמו query או passage לכל קלט, אחרת איכות האחזור צונחת, ואין לו תמיכה מובנית בעברית.

איך מריצים

טוענים את המשקלים ישירות דרך ספריית sentence-transformers בפייתון ומריצים חישוב וקטורים. הקבצים שוקלים 2.1 גיגה־בייט בדיוק רגיל, כך שכל כרטיס מסך בסיסי עם 6 עד 8 גיגה זיכרון יריץ אותו בקלות גם באצוות בינוניות.

אם כל מה שאתם צריכים זה לחפש במסמכים קצרים בקוריאנית, להרים אותו עצמאית בשרת זול יחסוך עלויות API חיצוניות. מצד שני, אם אתם מחפשים ביצועי קצה, המפתחים עצמם מציעים גרסה רחבה יותר באותו מאגר בשם KURE-v1 שמגיעה לתוצאות טובות בהרבה.

from transformers import pipeline

pipe = pipeline("feature-extraction", model="nlpai-lab/KoE5")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 2.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors2.2 GB
• tokenizer.json17.1 MB
• KoE5-results-avg.png212.0 KB
• KoE5-results-by-datasets.png141.1 KB
• KoE5-results.png87.0 KB
• README.md17.9 KB
• .gitattributes1.6 KB
• tokenizer_config.json1.3 KB
• special_tokens_map.json964 B
• config.json741 B
• modules.json349 B
• 1_Pooling/config.json297 B
• config_sentence_transformers.json165 B
• 2_Normalize/__init__0 B

הרישיון

רישיון MIT פתוח ומתירני לחלוטין. מותר להשתמש בו בפרויקטים מסחריים, לשנות אותו, להריץ אותו בענן פרטי או להפיץ אותו כחלק ממוצר בלי לשלם תמלוגים, בתנאי ששומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗