GPT
הוספת כלי
K

kanana-1.5-8b-instruct-2505

קוד פתוח

kakaocorpapache-2.02025-05-21

  • transformers
  • safetensors
  • llama
  • text-generation
  • conversational

גרסה ממוקדת של קקאו בקוד פתוח, שנבנתה במיוחד לעבודה דו-לשונית בקוריאנית ואנגלית. היא מציגה קפיצה בקוד, מתמטיקה וקריאות לפונקציות לעומת הדור הקודם.

  • 8Bפרמטרים
  • 32,768טוקנים בהקשר
  • 15.0 GBמשקל הקבצים
  • 9,081הורדות בחודש

מה זה

מדובר במודל שפה בגודל שמונה מיליארד פרמטרים שרץ על ארכיטקטורת Llama רגילה. החברה הקוריאנית כיוונה כאן לביצועים חזקים במשימות טכניות, עם דגש ברור על שילוב בין אנגלית לקוריאנית, בלי לגעת במידע פרטי של המשתמשים שלהם באימון.

המספרים בבנצ'מרקים מראים שיפור משמעותי מול הדור הראשון שלהם. במבחן FunctionChatBench הוא קפץ מציון 17.37 ל־58.00, מה שאומר שהוא מסוגל לחבר כלים ולבצע קריאות לפונקציות בצורה אמינה בהרבה. גם במתמטיקה עם GSM8K ו־MATH יש עליות חדות, וכך גם במבחני הקוד HumanEval פלוס שמגרדים כעת את ה־77 אחוז.

מתאים ל

  • סוכני קוד בקוריאנית

    מתאים לכתיבת קוד אוטומטית עם תמיכה חזקה בפונקציות וציון של 76.83 ב־HumanEval פלוס.

  • בוטים דו-לשוניים

    מענה מדויק בשיחות שמשלבות אנגלית וקוריאנית עם ציון של 7.63 במבחן KoMT-Bench.

  • אוטומציית קריאות ל־API

    הקפיצה ב־FunctionChatBench ל־58 נקודות הופכת אותו למועמד טוב להפעלת פונקציות מקומית.

איפה זה נופל

הבעיה המרכזית שלו מנקודת מבט מקומית היא השפות. המודל אומן ותועד אך ורק עבור אנגלית וקוריאנית, כך שעברית לא נתמכת כאן באופן רשמי ולא הייתי מנסה לבנות עליו שום מענה בעברית בלי אימון נוסף.

בנוסף, כדי לעבור את רף 32 אלף הטוקנים ולהגיע עד 128 אלף, צריך להגדיר ידנית הרחבת YaRN בקובץ התצורה. אם לא תגדירו את המקדמים האלה בעצמכם, הוא ייעצר בחלון הבסיסי.

שאלות
נפוצות

האם המודל תומך בעברית?

לא. המודל אומן ותועד רק עבור אנגלית וקוריאנית. כל ניסיון לייצר איתו פלטים בעברית צפוי לתת תוצאות משובשות או לא קוהרנטיות.

איך מרחיבים את חלון ההקשר ל־128 אלף טוקנים?

צריך לערוך ידנית את קובץ התצורה ולהוסיף הגדרת rope_scaling מסוג yarn עם פקטור של 4.4. ברירת המחדל מוגבלת ל־32,768 טוקנים בלבד.

איך מריצים

כדי להריץ אותו בפורמט המקורי של bfloat16 תצטרכו כרטיס מסך עם לפחות 24 גיגה-בייט של VRAM, כמו RTX 3090 או A10G, מאחר שמשקל הקבצים לבדו לוקח כ־15 גיגה-בייט לפני חישובי ההקשר. המודל נתמך ישירות בספריית transformers הסטנדרטית ללא צורך בהתאמות קוד מיוחדות.

אם אתם לא צריכים שילוב שפות שכולל קוריאנית או שאין לכם כרטיס מתאים זמין, עדיף להשתמש ב־API של מודל ענן פופולרי. ההרצה העצמאית משתלמת רק אם הפרטיות קריטית או שהמוצר שלכם פונה לשוק הקוריאני.

from transformers import pipeline

pipe = pipeline("text-generation", model="kakaocorp/kanana-1.5-8b-instruct-2505")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל שוחרר תחת רישיון apache-2.0 מלא. אפשר להשתמש בו לצרכים מסחריים, לשנות אותו, לאמן אותו מחדש ולהפיץ אותו בתוך מוצרים סגורים. התנאי העיקרי הוא שמירת הקרדיט והצהרת הרישיון המקורית של קקאו.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗