KORMo-10B-sft

מה זה

הפרויקט הזה מגיע ממעבדת מחקר במוסד KAIST, והמטרה שלו ברורה: לספק חלופה פתוחה לחלוטין למודלים הקוריאניים הקיימים. הצוות שחרר לא רק את המשקלים של שלב הכוונון, אלא גם את נתוני האימון המקדימים בהיקף של כמעט 4 טריליון טוקנים, הקוד והמדריכים. הארכיטקטורה כוללת 40 שכבות ומציעה מצב חשיבה מובנה דרך תבנית השיחה, תכונה שלא רואים בכל מודל בגודל כזה.

במבחנים באנגלית המודל עומד על ממוצע של 63.45 נקודות, תוצאה סבירה לגודל שלו שמשתווה למודלים כמו olmo2 בגרסת 13B. בקוריאנית הוא מגיע לממוצע של 58.15 נקודות במבחנים כמותיים וציון של 8.61 בהערכת שופט, מה שמציב אותו מעל מודלים מערביים מקבילים בגודל דומה, אבל עדיין מתחת לחלק מהמתחרים האסייתיים כמו qwen3 או kanana.

מתאים ל

• תרגום וניתוח קוריאנית

  הוא נבנה מאפס על טריליוני טוקנים קוריאניים ומתאים במיוחד לעבודה טכנית עם טקסטים בשפה הזו.

• אימון והתאמה פרטית

  כל נתוני האימון והקוד פתוחים, כך שאפשר לאמן עליו מתאמים ייעודיים בלי נקודות עיוורות בבסיס.

• עיבוד מסמכים ארוכים

  חלון של 131 אלף טוקנים מאפשר להזין תיעוד שלם או קבצי קוד ארוכים בקריאה יחידה.

איפה זה נופל

הכרטיס מודה בפירוש שהמודל לא עבר יישור העדפות אנושי או התאמות בטיחות. בפועל, במשימות היגיון מורכבות אתם תראו חזרתיות מיותרת בתשובות ואיכות ירודה לפעמים. בנוסף, המודל אומן רק על אנגלית וקוריאנית, כך שאין מה לבנות עליו למשימות בעברית, ולפני כל שימוש מול משתמשי קצה תצטרכו לבנות שכבת סינון משלכם.

אותה משפחה

KORMo יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו בפורמט המקורי עם bfloat16 תצטרכו כרטיס מסך עם לפחות 24 גיגה זיכרון, כמו RTX 3090 או כרטיס שרתים מקביל, מאחר שהמשקלים תופסים 20 גיגה נקיים בלי לחשב את זיכרון ההקשר. הטעינה נעשית דרך ספריית transformers הרגילה, אך דורשת הפעלה של trust_remote_code בגלל ארכיטקטורה מותאמת אישית.

אם אתם רוצים רק לשלב אותו במוצר בלי להתעסק בתחזוקת חומרה או אם אין לכם צורך ספציפי בנתוני האימון השקופים, עדיף להשתמש במודל מסחרי דרך ממשק קיים. הריצה המקומית מתאימה רק למי שחייב שליטה מלאה בשרת או רוצה לאמן שכבות התאמה בעצמו על בסיס המחברת שהצוות פרסם.

from transformers import pipeline

pipe = pipeline("text-generation", model="KORMo-Team/KORMo-10B-sft")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 20.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00003-of-00005.safetensors5.0 GB
• model-00004-of-00005.safetensors5.0 GB
• model-00001-of-00005.safetensors5.0 GB
• model-00002-of-00005.safetensors4.9 GB
• model-00005-of-00005.safetensors1.6 GB
• tokenizer.json9.9 MB
• model.safetensors.index.json30.0 KB
• _modeling_kormo.py21.3 KB
• README.md9.7 KB
• tokenizer_config.json8.3 KB
• chat_template.jinja3.8 KB
• _configuration_kormo.py2.7 KB
• .gitattributes1.5 KB
• config.json918 B
• special_tokens_map.json421 B
• generation_config.json157 B

הרישיון

המודל משוחרר תחת רישיון Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, לאמן אותו מחדש ולחלק אותו בתוך מערכות סגורות, בתנאי ששומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗