KURE-v1

מה זה

בבסיסו עומד bge-m3 שעבר כוונון על שני מיליון זוגות של שאילתות ומסמכים בקוריאנית עם דוגמאות שליליות קשות. הוא מייצר וקטורים בגודל 1024 ממדים ותומך בטקסטים של עד 8,192 טוקנים, מה שמאפשר להזין מסמכים ארוכים שלמים בלי לחתוך אותם לפסקאות קטנות.

במבחני ביצועים מול שמונה מאגרי בדיקה בקוריאנית, הכוללים תחומים כמו רפואה, משפטים ופיננסים, הוא הגיע למקום הראשון בדירוג הכללי. במדד Recall בתוצאה הראשונה הוא קיבל 0.526 ועקף מודלים מובילים כמו המודל המקורי שעליו הוא מבוסס, snowflake-arctic וגם את המודל של OpenAI. הפער מול bge-m3 המקורי קיים אך אינו תהומי, מה שמראה שהכוונון חידד בעיקר את הניואנסים של השפה.

מתאים ל

• שליפת מסמכים בקוריאנית

  הוא מציג תוצאות עדיפות על פני מודלים רב-לשוניים במבחני חיפוש מבוססי קוריאנית.

• אינדוקס קבצים ארוכים

  תמיכה ב־8,192 טוקנים מאפשרת לעבד דוחות ומאמרים שלמים בלי לחלק אותם לחלקים קטנים.

• מנוע RAG מבוסס קוריאנית

  משמש כשלב השליפה הראשוני שמאתר את פסקאות המקור המדויקות עבור מודל שפה.

איפה זה נופל

המודל אומן ונבדק כמעט אך ורק על קוריאנית ואנגלית, ואין עליו שום נתונים לגבי עברית. למרות שהבסיס שלו מולטילינגואלי, אין סיבה להניח שהוא ישמור על איכות גבוהה בטקסט מקומי, ולא הייתי משתמש בו לשום צורך שכולל עברית. בנוסף, מדובר במודל שליפה טהור. הוא לא מייצר תשובות, לא מנמק, ולא מחליף מודל שפה גנרטיבי בתוך צינור RAG.

איך מריצים

כדי להריץ אותו מתקינים את ספריית sentence-transformers וטוענים את המשקלים ישירות מקוד פייתון. הקבצים שוקלים כ־2.1 גיגה בייט בדיוק מלא, כך שמדובר במודל קל יחסית שרץ בקלות על כרטיס מסך ביתי בסיסי עם 8 עד 12 גיגה זיכרון, או אפילו על מעבד רגיל אם זמן התגובה פחות קריטי לכם.

היוצרים מציעים גם את KoE5, גרסה קודמת שמוגבלת ל־512 טוקנים ומבוססת על ארכיטקטורה אחרת. אם יש לכם צורך באינדוקס מסמכים ארוכים בקוריאנית, עדיף להריץ את הדגם הנוכחי מקומית במקום לשלם לפי טוקן לשירותי ענן חיצוניים, במיוחד כשהביצועים שלו עוקפים אותם על הנייר.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("nlpai-lab/KURE-v1")
v = m.encode(["שלום עולם"])

הקבצים

13 קבצים במאגר, 2.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors2.3 GB
• tokenizer.json17.1 MB
• kure_logo.png593.6 KB
• README.md17.3 KB
• trainer_state.json11.0 KB
• .gitattributes1.6 KB
• tokenizer_config.json1.2 KB
• special_tokens_map.json964 B
• config.json807 B
• modules.json349 B
• 1_Pooling/config.json297 B
• config_sentence_transformers.json220 B
• sentence_bert_config.json54 B

הרישיון

הפרויקט מופץ תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצרים סגורים ולהפיץ אותו בחופשיות, בלי לשלם תמלוגים. התנאי היחיד הוא שמירת הודעת זכויות היוצרים המקורית בתוך הקוד או החבילה שאתם מפיצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗