GPT
הוספת כלי
K

KORMo-10B-base

קוד פתוח

KORMo-Teamapache-2.02025-10-11

  • transformers
  • safetensors
  • kormo
  • text-generation
  • custom_code

מודל בסיס פתוח לחלוטין שמיועד בעיקר לקוריאנית ולאנגלית. הוא מציע שקיפות מלאה באימון יחד עם חלון הקשר ענקי למי שרוצה לאמן גרסה משלו.

  • 11Bפרמטרים
  • 131,072טוקנים בהקשר
  • 20.0 GBמשקל הקבצים
  • 3,743הורדות בחודש

מה זה

מדובר במודל בסיס של 10.8 מיליארד פרמטרים שאומן על כשלושה טריליון טוקנים, בשילוב של נתונים סינתטיים ומאגרים ציבוריים. היוצרים שלו שחררו לא רק את המשקולות אלא גם את קוד האימון ואת הדאטה, מה שמאפשר שחזור מלא של התהליך. הייעוד המרכזי שלו הוא טיפול בקוריאנית לצד אנגלית, עם תמיכה בחלון הקשר של 131,072 טוקנים.

במבחני ביצועים באנגלית הוא מציג ממוצע של 63.45 נקודות, תוצאה שמציבה אותו מעל מודלים קטנים יותר כמו smolLM3-3B אבל עדיין מאחורי qwen3-8B שקיבל 67.90 וגירסאות כמו gemma3-12B. במבחנים בקוריאנית הוא מגיע לממוצע של 58.15 נקודות, שזה שיפור ניכר על פני משפחת olmo2, אבל עדיין נמוך יותר מהתוצאות של kanana1.5-8B או qwen3-8B באותה שפה. זה מודל יציב, אך לא המוביל בקטגוריה במבחנים היבשים.

מתאים ל

  • אימון מודל צ'אט לקוריאנית

    הוא מספק נקודת מוצא פתוחה לגמרי עם דאטה גלוי למי שרוצה לאמן בוט שמבין קוריאנית לעומק.

  • ניתוח מסמכים ארוכים

    תמיכה ב־131 אלף טוקנים מאפשרת לעבד טקסטים ארוכים באנגלית ובקוריאנית בלי לחתוך את הקלט.

  • מחקר על שחזור אימונים

    קוד האימון והמאגרים פתוחים, כך שאפשר לבדוק שיטות אימון חדשות על בסיס נתונים ידוע ומתועד.

איפה זה נופל

זהו מודל בסיס ולא מודל שעבר כוונון להוראות, נקודה שהיוצרים עצמם מדגישים. הוא לא יידע לענות ישירות לפניות של משתמשים בצורה של צ'אט בלי שתבצעו קודם כוונון עדין. חולשה בולטת נוספת היא המיקוד: אם המשימה שלכם כוללת עברית, אין כאן שום בשורה והוא כנראה ייכשל בהבנה וביצירה של טקסט מקומי, שכן האימון התרכז בקוריאנית ובאנגלית בלבד.

אותה משפחה

KORMo יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

KORMo-10B-sft557

שאלות
נפוצות

האם אפשר להשתמש במודל הזה ישירות כעוזר אישי בצ'אט?

לא. מדובר במודל בסיס שנועד להשלמת טקסט ולא למענה על שאלות. היוצרים ממליצים להשתמש בגרסת ה־sft שלהם למטרות שיחה, או לבצע כוונון עדין בעצמכם.

איך הביצועים שלו בהשוואה למודלים פופולריים אחרים בגודל דומה?

באנגלית הוא מציג תוצאות טובות יותר מ־olmo2-7B ומ־llama3.1-8B, אך נופל מ־qwen3-8B. בקוריאנית הוא חזק ממודלים מערביים, אך מפסיד ל־kanana1.5-8B בחלק מהמבחנים.

איך מריצים

כדי להריץ אותו צריך להתמודד עם קבצים במשקל כולל של 20 גיגה בייט בפורמט bfloat16. זה אומר שתצטרכו כרטיס מסך עם לפחות 24 גיגה בייט זיכרון, כמו RTX 3090 או A10G, רק כדי לטעון אותו להסקה בסיסית בלי קוונטיזציה. הרצה עם הקשר מלא של 131 אלף טוקנים כבר תדרוש זיכרון גדול משמעותית או שימוש במספר כרטיסים במקביל.

הקוד דורש את ספריית transformers יחד עם הגדרת trust_remote_code כיוון שהוא משתמש בארכיטקטורה ייעודית. אם אתם צריכים רק מענה מהיר לשאלות ולא מתכננים לאמן שכבות בעצמכם, עדיף לפנות לגרסת ה־sft או להשתמש ב־API קיים, כי מודל בסיס דורש התאמה מוקדמת כדי לנהל שיחה תקינה.

from transformers import pipeline

pipe = pipeline("text-generation", model="KORMo-Team/KORMo-10B-base")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 20.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון Apache 2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי של הקוד והמשקולות, והפצה מחדש כחלק ממוצר סגור או פתוח, בתנאי ששומרים על הודעת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗